尝试用robots.txt让百度删除失效的网址

维佳网站调试时用的是动态网址，因为是5年的老域名百度收录挺快，先给我收录了，现在我需要把这些网址从百度的搜索结果中删除掉。我先在百度死链中 提交了一小部分的URL，因为网址过万，收集这些麻烦实在太麻烦，所以想尝试用robots.txt试试能不能让百度把那些搜索结果删除掉。写法如下：

User-agent: *
Disallow: /vod/*.html
Disallow: /vodplay/*.html
Disallow: /vodlist/*.html
Disallow: /bf/*.html
Disallow: /user/

用*禁止访问目录下的所有以”.html”为后缀的URL（包含子目录）

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

这么设定robots当然这是最理想的效果，因为除了后面2个设定是完全正确之外，开始的3个设定都是一种猜测，我不能确定/vod/*.html 是指实际存在的html还是能够包含那些仿伪静态的网址，maccms用的是仿伪静态的网址，如/vod/?20324.html，/vod /*.html前面可是有个问号的，不知道*能不能替代问号。我需要实现的是禁止访问目录中所有包含问号的网址，但没有案例，不敢随便写。

用Disallow: /vod/*.html应该不会出现比百度收录那些已经打不开又不会返回404状态并且还跳转到首页的仿伪静态网址结果更好吧，因为这些仿伪静态网址会返 回200状态，从而让百度以为这种网址是正常的，但实际上却只是跳转到首页的一个提示页面。跳转页面对于搜索引擎来说并不是友好的行为，有可能导致网站被 K。暗幕就是因为这样已经在被K了，搜索结果中首页还是9月20的快照页面，导致网站不被收录。

robots.txt文件生效时间

优化记录