robots協(xié)議是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，更好的保護(hù)用戶的隱私和版權(quán)信息。robots可以制止不必要的搜索引擎占用服務(wù)器，對(duì)于大多數(shù)非圖形類網(wǎng)站來(lái)說(shuō)也沒(méi)有太大的意義，但是卻耗用了大量的帶寬。網(wǎng)站優(yōu)化切忌的就是重復(fù)頁(yè)面，但是不少人沒(méi)有重視，現(xiàn)在的主流網(wǎng)站程序都很容易自動(dòng)產(chǎn)生一些沒(méi)用的頁(yè)面，比如緩存頁(yè)面，搜索頁(yè)面等，這些頁(yè)面內(nèi)容往往和主體內(nèi)容相重復(fù)，沒(méi)有什么用，如果被蜘蛛抓到，那么對(duì)網(wǎng)站排名會(huì)有嚴(yán)重的負(fù)面影響?？梢源蟠蟮脑鰪?qiáng)蜘蛛網(wǎng)站的爬取效率，幫助搜索引擎理解哪些重要的內(nèi)容，不再浪費(fèi)到其它無(wú)用的頁(yè)面上。搜索引擎喜歡原創(chuàng)內(nèi)容，而這一方面并不是單單是指文章的原創(chuàng)度，另一方面網(wǎng)站模板的原創(chuàng)度也是非常重要的評(píng)分點(diǎn)，所以如果自己網(wǎng)站的模板不是原創(chuàng)，要屏蔽css目錄和模板目錄?？梢灾浦顾阉饕鎸?duì)非公開頁(yè)面的爬行與索引，如網(wǎng)站的后臺(tái)程序、隱私頁(yè)面、圖片目錄、管理程序，事實(shí)上，對(duì)于某些在運(yùn)行中面臨頁(yè)面的網(wǎng)站來(lái)說(shuō)，如果沒(méi)有配置robots協(xié)議，搜索引擎甚至?xí)饕切┡R時(shí)文件。