管理员，再请教个问题。关于页面收录的
本帖最后由 鬼马 于 2012-5-7 18:39 编辑管理员大大，首先感谢您回复我之前的一个问题反馈。
现在呢，我在测试的过程中发现另外个问题，简单的描述呢就是发布一个文档，会被搜索引擎收录两个页面
a、http://www.xxx.com/file-id.html 这个是正常的页面
b、http://www.xxx.com/downfile-id-aPVFvGnJ.html这个文档下载页面。
前者呢，点进去则是正常展示的页面，访客通过搜索引擎进去之后点击文件下载，然后获得相应的文件。在这一过程中访客的行为会影响网站的PV以及广告点击等等，这些呢带来些什么就暂且不表了，反正正是我们所需要的。
后者呢，进去则是文档下载，直接弹出对话框下载文件了。空空的浪费了流量，满足了访客的需求。却加大了网站的运营压力，而网站本身来说基本是一点好处都没。最致命的是：因为文件格式基本是TXT、WORD、PDF等格式，本身的权重就比HTML页面要高，排名永远都是在前面。另外个问题就是正常情况下啊这两者的标题都一样，但URL不一样，这在一定程度上也影响了搜索引擎对于站点内容的认可度。
截图举例给大家看看啊
管理员大大，有没有办法解决这个问题呢？非常非常的感谢啊。 只能阻止搜索引擎访问某些页面 along 发表于 2012-5-8 15:58 static/image/common/back.gif
只能阻止搜索引擎访问某些页面
可以在robots文件里阻止搜索引擎访问某些目录，比如filestores下的所有文件，防止盗链，尤其是类似与百度音乐这样的霸道玩意的盗链。
但是我上面所提的URL是无法阻止的，因为那样的的地址的确是在页面上存在的，由文章的ID及提取码组成的URL就是直接提取相应的文件了。即使是使用V版隐藏文件的真实目录及文件名的，但同样也是存在一个URL地址是用于提取文件的（这话太乱，不知道能不能看懂，哈哈）
我想，管理员大大，应该有办法解决这个问题，只是不知道能不能实现
就是将下载的PHP文件融合到文章页面，在下载处改成文件提取，即设计一下载验证输入框，旁边是验证码（实际上为提取码），访客手动输入验证码之后点击下载即可。
这样在整个文章页面实际上并没有出现包含ID及提取码的URL链接，这样搜索引擎也就无从抓取那样的页面。
唉。。。话说得很乱。。。不知道能不能看明白。
不过这个问题的确是比较干扰的问题，不解决的话，我想很难解决搜索引擎收录下载URL地址。 在robots.txt上添加不行，会暴露网站目录，安全方面不行
页:
[1]