1、是否有蜘蛛來(lái)訪(fǎng)問(wèn)
搜索引擎蜘蛛有哪些我們都知道吧,如果是做國(guó)內(nèi)用戶(hù)的話(huà)就主要看看百度、360、搜狗蜘蛛是否按時(shí)到訪(fǎng),做外貿(mào)的網(wǎng)站就要注重谷歌蜘蛛是否按時(shí)到訪(fǎng),新站上線(xiàn)后要時(shí)刻關(guān)注蜘蛛來(lái)訪(fǎng)記錄,如果發(fā)現(xiàn)哪個(gè)蜘蛛沒(méi)來(lái)的話(huà)就要檢查網(wǎng)站的robots文件設(shè)置是否有問(wèn)題。
注意:新站的日志上如果出現(xiàn)這個(gè)百度蜘蛛IP:121.14.89.*。表示這個(gè)新站已經(jīng)擺脫了新站考察期,可以放心繼續(xù)努力了。
2、抓取了哪些目錄
通過(guò)蜘蛛抓取網(wǎng)站目錄的情況,查看網(wǎng)站重要的目錄是否被抓取,如果這些目錄沒(méi)有被抓取,看是不是網(wǎng)站的內(nèi)鏈?zhǔn)遣皇遣粚?duì),就需要對(duì)網(wǎng)站內(nèi)鏈進(jìn)行調(diào)整,如果網(wǎng)站內(nèi)鏈沒(méi)問(wèn)題就需要增加網(wǎng)站外鏈,引導(dǎo)蜘蛛來(lái)抓取。
注意:如果不希望一些毫無(wú)意義的目錄或者不想讓蜘蛛抓取的信息,建議用robots屏蔽掉。
3、抓取了哪些頁(yè)面、圖片
就像訪(fǎng)客會(huì)對(duì)一些頁(yè)面或者圖片青睞,蜘蛛也有自己喜歡抓取的頁(yè)面、圖片,這樣就可以分析這些頁(yè)面圖片和其它頁(yè)面有什么不同,為其他頁(yè)面、圖片優(yōu)化提供了參考物。
注意:對(duì)于蜘蛛不抓取的頁(yè)面,可以查看是不是這些頁(yè)面出現(xiàn)了頁(yè)面重復(fù)、url不規(guī)范等問(wèn)題。
4、蜘蛛訪(fǎng)問(wèn)次數(shù)、停留時(shí)間、抓取量
任何一個(gè)網(wǎng)站都希望蜘蛛來(lái)的勤快些,因?yàn)樵L(fǎng)問(wèn)次數(shù)越頻繁、停留時(shí)間越長(zhǎng)、抓取的頁(yè)面越多就說(shuō)明蜘蛛喜歡這個(gè)網(wǎng)站,如果發(fā)現(xiàn)蜘蛛停留時(shí)間長(zhǎng)但是抓取量 少,需要查看是不是網(wǎng)站的訪(fǎng)問(wèn)速度有問(wèn)題、蜘蛛對(duì)網(wǎng)站內(nèi)容抓取困難或者網(wǎng)站文章質(zhì)量偏低蜘蛛不喜歡。因此為了獲取搜索引擎的好感,需要網(wǎng)站每天有規(guī)律性的 更新高質(zhì)量?jī)?nèi)容。
注意:新站上線(xiàn)后,如果發(fā)現(xiàn)蜘蛛已經(jīng)爬取過(guò)網(wǎng)站內(nèi)容,這就說(shuō)明搜索引擎已經(jīng)開(kāi)始對(duì)你的網(wǎng)站進(jìn)行新站考察。這時(shí)就不要輕易修改網(wǎng)站結(jié)構(gòu)、網(wǎng)站域名、網(wǎng)站程序、網(wǎng)站標(biāo)題、關(guān)鍵詞、描述等,否則會(huì)加長(zhǎng)百度考察期。
提升網(wǎng)站排名的秘密:在一段時(shí)間里就可以知道蜘蛛每天都是什么時(shí)間段來(lái)訪(fǎng)問(wèn)網(wǎng)站,然后在搜索引擎蜘蛛來(lái)訪(fǎng)問(wèn)網(wǎng)站時(shí)去更新站內(nèi)內(nèi)容,這樣利于頁(yè)面快速收錄。