当前位置:首页 > 新闻中心 > SEO优化 >

SEO中关于 robots.txt 的具体用途

发布时间:2018-06-28 来源:未知 作者:admin 阅读次数:75 返回>

       一般来说可以使用robots.txt文件屏蔽不想让搜索引擎收录的页面, 但是这些“不想被抓取的页面”一般都会有哪些呢?下面因酷科技小编来举几个简单的例子。
      
(1)多版本URL情况下,非主显URL的其他版本。比如网站链技伪静态后就不希望搜索引擎抓取动态版本了,这时就可以使用robots.txt屏蔽掉站内所有动态链接了
      (2)如果网站内有大量的交叉组合查询所生成的页面,肯定有大量页面是没有内容的,对于没有内容的页面可以单独设置一个URL特征,然后使用
robots.txt进行屏蔽,以防被搜索引擎认为网站制造垃圾页面。
      (3)如果网站改版或因为某种原因突然删除了大量页面,众所周知,网站突然出现大量死链接对网站在搜索引擎上的表现是不利的。虽然现在可以直接向百度提交死链接,但是还不如直接屏蔽百度对死链接的抓取,这样理论上:百度就不会突然发现网站多了太多死链接,或者两者同时进行。当然站长自已最好把站内的死链接清理干净。
      (4)如果网站有类似UGC的功能,且为了提高用户提供内容的积极性并没有禁止用户在内容中夹杂链接的跳转链接,然后使用
robots.txt进行屏蔽。此时为了不让这些链接浪费网站权重或牵连网站,就可以把这些继接做成站内现在有不少论坛已经这样操作了。可以使用robots.txt进行屏蔽。通常说的不想被搜索引擎索引的内容,比如隐私数据、用户信息、管理后台页面等都。
       以上就是robots.txt常见的功能。合理地使用
robots.txt不仅可以保护网站的隐私数据,还可以只给搜索引擎展现网站高质量的一面, 同时也可以使得搜索引擎8多抓取其他允许抓取的页面。不过,站长和SEO人员要慎考惠是否需要把后台地址写到robots.txt文件中,现在很多黑客都在频繁地扫描各个网站的后台地址,如果直接把后台地址写入到robots.txt,也就相当于直接告诉黑客网站的后台地址了;还有,现在只是Google支持robots txt文件声明Sitemap地址,百度并不支持并且站长现在完全可以通过Google Webmaster提交Sitemap,所以使用robots.txt文件声明网站XML地图位置并没有太大的必要性。现在有不少做采集的人都会通过robots.txt文件寻找网站的Sitemap,然后批量地提取目标内容的URL,如果站内有比较有价值的资源(例如关键同库等),就很容易被竞争对手钻空子。所以在制作robots.txt 文件时一定要综合考虑都需要写什么,而不能只站在SEO的角度思考问题。
      另外,SEO人员不要被
robots.txt 文件本身原始的作用所限制,要将思维扩散下,多方面思考。比如为防止被搜索引擎抓到把柄,不让搜索引擎抓取透深网站弊端的页面链接: 为提开网站在搜索引擎眼中的整体质量等,不让搜索引擎抓取无搜索价值的页面。