影響網(wǎng)站抓取的因素有哪些?
1、域名到期
域名已經(jīng)過期,百度搜索引擎肯定抓取不正常,因?yàn)榫W(wǎng)站不能打開,抓取一定不正常。
2、頁面打開速度
我們網(wǎng)站的開通速度不僅會(huì)影響用戶的瀏覽,還會(huì)影響蜘蛛對(duì)網(wǎng)站的抓取。如果我們網(wǎng)站的頁面加載太慢,蜘蛛抓取后可能產(chǎn)生的返回代碼超過50,這也將導(dǎo)致蜘蛛抓取網(wǎng)站內(nèi)容失敗。
3、DNS異常
如果網(wǎng)站上有域名系統(tǒng)異常,將會(huì)有一個(gè)IP錯(cuò)誤,或者搜索引擎將停止阻止您的網(wǎng)站,這將使它無法解析您的網(wǎng)站,所以將會(huì)有域名系統(tǒng)異常,導(dǎo)致不適當(dāng)?shù)呐佬小?
4、網(wǎng)站帶跳轉(zhuǎn)
當(dāng)我們更新網(wǎng)站的內(nèi)容或修改網(wǎng)站上的內(nèi)容時(shí),如果進(jìn)行了301或302跳轉(zhuǎn)設(shè)置,網(wǎng)站將會(huì)有配置錯(cuò)誤,這將導(dǎo)致捕獲失敗。
5、訪問拒絕
當(dāng)搜索引擎抓取一個(gè)網(wǎng)頁時(shí),如果訪問被拒絕,搜索引擎肯定不能抓取它。
6、301和302重新定向錯(cuò)誤
當(dāng)一個(gè)搜索引擎抓取一個(gè)網(wǎng)站,如果它跳超過5次,它將有一個(gè)重定向錯(cuò)誤和一個(gè)重定向錯(cuò)誤,因此該網(wǎng)站將無法抓取。