解析百度蜘蛛如何抓取網(wǎng)站和提高抓取頻率
做SEO的小伙伴對(duì)百度搜索引擎和蜘蛛是情有獨(dú)鐘啊，因?yàn)槟壳鞍俣仁菄鴥?nèi)PC端和移動(dòng)端搜索引擎的老大，seo的小伙伴當(dāng)然是希望百度蜘蛛能夠更多的抓取網(wǎng)站，只有抓取的頁面多了，才有可能獲得更好的收錄、排名和流量。百度蜘蛛：Baiduspider、1818平臺(tái)
下面就先和各位分享一下百度蜘蛛是如何從最原始的策略制定到抓取的。
一、百度蜘蛛抓取規(guī)則
1、對(duì)網(wǎng)站抓取的友好性
百度蜘蛛在抓取互聯(lián)網(wǎng)上的信息時(shí)為了更多、更準(zhǔn)確的獲取信息，會(huì)制定一個(gè)規(guī)則最大限度的利用帶寬和一切資源獲取信息，同時(shí)也會(huì)僅最大限度降低對(duì)所抓取網(wǎng)站的壓力。
2、識(shí)別url重定向
互聯(lián)網(wǎng)信息數(shù)據(jù)量很龐大，涉及眾多的鏈接，但是在這個(gè)過程中可能會(huì)因?yàn)楦鞣N原因頁面鏈接進(jìn)行重定向，在這個(gè)過程中就要求百度蜘蛛對(duì)url重定向進(jìn)行識(shí)別。
3、百度蜘蛛抓取優(yōu)先級(jí)合理使用
由于互聯(lián)網(wǎng)信息量十分龐大，在這種情況下是無法使用一種策略規(guī)定哪些內(nèi)容是要優(yōu)先抓取的，這時(shí)候就要建立多種優(yōu)先抓取策略，目前的策略主要有：深度優(yōu)先、寬度優(yōu)先、PR優(yōu)先、反鏈優(yōu)先，在我接觸這么長時(shí)間里，PR優(yōu)先是經(jīng)常遇到的。
4、無法抓取數(shù)據(jù)的獲取
在互聯(lián)網(wǎng)中可能會(huì)出現(xiàn)各種問題導(dǎo)致百度蜘蛛無法抓取信息，在這種情況下百度開通了手動(dòng)提交數(shù)據(jù)。
5、對(duì)作弊信息的抓取
在抓取頁面的時(shí)候經(jīng)常會(huì)遇到低質(zhì)量頁面、買賣鏈接等問題，百度出臺(tái)了綠蘿、石榴等算法進(jìn)行過濾，據(jù)說內(nèi)部還有一些其他方法進(jìn)行判斷，這些方法沒有對(duì)外透露。
上面介紹的是百度設(shè)計(jì)的一些抓取策略，內(nèi)部有更多的策略咱們是不得而知的。
二、百度蜘蛛抓取過程中涉及的協(xié)議
1、http協(xié)議：超文本傳輸協(xié)議
2、https協(xié)議:目前百度已經(jīng)全網(wǎng)實(shí)現(xiàn)https，這種協(xié)議更加安全。
3、robots協(xié)議：這個(gè)文件是百度蜘蛛訪問的第一個(gè)文件，它會(huì)告訴百度蜘蛛，哪個(gè)頁面可以抓取，哪個(gè)不可以抓取。
三、如何提高百度蜘蛛抓取頻次
百度蜘蛛會(huì)根據(jù)一定的規(guī)則對(duì)網(wǎng)站進(jìn)行抓取，但是也沒法做到一視同仁，以下內(nèi)容會(huì)對(duì)百度蜘蛛抓取頻次起重要影響。
1、網(wǎng)站權(quán)重：權(quán)重越高的網(wǎng)站百度蜘蛛會(huì)更頻繁和深度抓取
2、網(wǎng)站更新頻率：更新的頻率越高，百度蜘蛛來的就會(huì)越多
3、網(wǎng)站內(nèi)容質(zhì)量：網(wǎng)站內(nèi)容原創(chuàng)多、質(zhì)量高、能解決用戶問題的，百度會(huì)提高抓取頻次。
4、導(dǎo)入鏈接：鏈接是頁面的入口，高質(zhì)量的鏈接可以更好的引導(dǎo)百度蜘蛛進(jìn)入和爬取。
5、頁面深度：頁面在首頁是否有入口，在首頁有入口能更好的被抓取和收錄。
6、抓取頻次決定著網(wǎng)站有多少頁面會(huì)被建庫收錄，這么重要的內(nèi)容站長該去哪里進(jìn)行了解和修改，可以到百度站長平臺(tái)抓取頻次功能進(jìn)行了解，如下圖：
四、什么情況下會(huì)造成百度蜘蛛抓取失敗等異常情況
有一些網(wǎng)站的網(wǎng)頁內(nèi)容優(yōu)質(zhì)、用戶訪問正常，但是百度蜘蛛無法抓取，不但會(huì)損失流量和用戶還會(huì)被百度認(rèn)為網(wǎng)站不友好，造成網(wǎng)站降權(quán)、評(píng)分下降、導(dǎo)入網(wǎng)站流量減少等問題。
霍龍?jiān)谶@里簡單介紹一下造成百度蜘蛛抓取一場的原因：
1、服務(wù)器連接異常:出現(xiàn)異常有兩種情況，一是網(wǎng)站不穩(wěn)定，造成百度蜘蛛無法抓取，二是百度蜘蛛一直無法連接到服務(wù)器，這時(shí)候您就要仔細(xì)檢查了。
2、網(wǎng)絡(luò)運(yùn)營商異常:目前國內(nèi)網(wǎng)絡(luò)運(yùn)營商分電信和聯(lián)通，如果百度蜘蛛通過其中一種無法訪問您的網(wǎng)站，還是趕快聯(lián)系網(wǎng)絡(luò)運(yùn)營商解決問題吧。
3、無法解析IP造成dns異常:當(dāng)百度蜘蛛無法解析您網(wǎng)站IP時(shí)就會(huì)出現(xiàn)dns異常，可以使用WHOIS查詢自己網(wǎng)站IP是否能被解析，如果不能需要聯(lián)系域名注冊(cè)商解決。
4、IP封禁:IP封禁就是限制該IP，只有在特定情況下才會(huì)進(jìn)行此操作，所以如果希望網(wǎng)站百度蜘蛛正常訪問您的網(wǎng)站最好不要進(jìn)行此操作。
5、死鏈：表示頁面無效，無法提供有效的信息，這個(gè)時(shí)候可以通過百度站長平臺(tái)提交死鏈。
通過以上信息可以大概了解百度蜘蛛爬去原理，收錄是網(wǎng)站流量的保證，而百度蜘蛛抓取則是收錄的保證，所以網(wǎng)站只有符合百度蜘蛛的爬去規(guī)則才能獲得更好的排名、流量。
- 上一篇：失敗的優(yōu)化效果不好的經(jīng)驗(yàn) 2015/10/22
- 下一篇：8月16日.com/.net域名注冊(cè)局維護(hù)通知 2015/8/10
