1、如果你希望搜索引擎收錄網(wǎng)站上所有的內(nèi)容，那么就不要建立robots文件。

  2、如果同時(shí)存在動態(tài)和靜態(tài)鏈接，那么建議屏蔽動態(tài)鏈接。

  3、robots只能是屏蔽站內(nèi)文件的，對站外文件沒有屏蔽功能。

  4、User-agent，Allow，Disallow，Sitemap的首字母都是大寫的。

  5、User-agent，Allow，Disallow，Sitemap的冒號后面都是有空格的，沒有寫空格直接寫接下來的內(nèi)容會出錯(cuò)。

  6、網(wǎng)站通常會屏蔽搜索結(jié)果頁面。因?yàn)樗阉鹘Y(jié)果頁和正常展示的內(nèi)容頁相比，標(biāo)題和內(nèi)容上相同的，而這兩個(gè)頁面鏈接是不同的。這樣就會造成內(nèi)鏈之間相互競爭，造成內(nèi)部資源損耗。

  7、建議屏蔽js文件。Disallow: /*.js$，以 .js 結(jié)尾的路徑統(tǒng)統(tǒng)被屏蔽，這樣就屏蔽了js文件。

  8、路徑是區(qū)分大小寫的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一樣的。

  9、robots.txt會暴露網(wǎng)站相關(guān)目錄，寫robots.txt時(shí)要考慮到這一點(diǎn)。