位置:首页 > 网站优化 >

网站优化中robots的用途有哪些

作者: | 发布时间:2020-01-24 22

 般都说可以使用robots.txt 文件来屏蔽$不想被搜索引擎抓取的页面,但是这些&ldquoι;不◎想被℅抓取的页面”般都会有哪些呢?下面来举几个简单的例▬子。
 &ↈnbsp;(1)多版本URL情ⓞ况下,非主显URL 的其他版本。比如⿻网站链接伪静态后不希望搜索引≒擎〩抓取@动态版本了,这时可以使用robots.txt&nb∏sp;屏→蔽掉站〥内所有动态☎链接。


  (2) $;‖|如果网站内有大量的交叉组合查询所生成的页面,肯定⿷有大量页面是没有┐内容的,对于没有内容的页╠╡面可以单独设置个URL 特征,然后使用robots.txt 进行屏蔽,以防被搜索引擎认为网站制Я造垃圾页面。
  (3)⿰ 如果网站改版或因为某种原因突⊿然删除了大【量页面,╳众所周知。网站突然出现大量死链接对网站在搜索引擎上的表现是不利的。虽然现在可以直接向百度提交死链接,但℡是还不如直接屏∮蔽百度对死链接的抓取,这样理论۩上百度不会突然发现网站多了太多死链接,或者两者#同时进行☆。当然站长自己好把站内的死链接清理干净。
  』;(4) △如果网站有类似UGC 的功能,且为了提高用户提供内容的积极性并没有禁止用户在内容中夹杂链接,此时为了不让这些链接浪︱︳费网站权重或牵连í网站,可以把这些链接做成站内的跳转链接,然后ε使用robots.t︼︽︾xt进行▀屏蔽。现在有不少论坛已经这◈样操作了。
&▀nbsp; (5)╟ 常а规в的‖不希望被搜索引擎索引的内容,比λ如隐私数据、用户信息、管理后台页面等都可┆┇以★使用robots.txt 进行屏蔽。


本○文由SEO优化整理,本文┒不代表本站观点

本文地址:网站优化中robots的用途有哪些:/news/o◙pti/61и4.html