robots.txt 這個(gè)文件一般存放在網(wǎng)站根目錄下。如果大家使用一些CMS系統(tǒng)或者博客系統(tǒng)的話，都是可以看到這個(gè)文件的。

這里面存放的是一些規(guī)則代碼。用來告訴搜索引擎。我網(wǎng)站的什么內(nèi)容是你可以看的，什么內(nèi)容是你不可以看的。

如果是使用大眾的CMS系統(tǒng)一般都沒什么問題。但是如果使用的是一個(gè)冷門的CMS或者一些個(gè)人開發(fā)的網(wǎng)站系統(tǒng)。最好是自己檢查一下這個(gè)文件。看看有沒有限制搜索引擎訪問之類的。否則到時(shí)候明明是你不讓蜘蛛進(jìn)家門，結(jié)果還一直怪人家不收錄。

sitemap，網(wǎng)站地圖。

一般有兩種，一種是給用戶看的。一種是給搜索引擎看的。不過其實(shí)給用戶看的搜索引擎也順便看一下了。

這個(gè)是淘寶的網(wǎng)站地圖。給用戶看的。一目了然網(wǎng)站結(jié)構(gòu)及欄目劃分。

.***.com/Sitemap.xml 這是我博客的網(wǎng)站地圖。給搜索引擎看的。主要就是告訴他我的網(wǎng)站有多少鏈接，鏈接網(wǎng)址是多少。也可以做成HTML的。

差不多就這些了，歡迎大家一起交流學(xué)習(xí)。本文來源：無語博客(www.wuyublog.com )，轉(zhuǎn)載請(qǐng)注明。謝謝