我們建立了一個(gè)好的網(wǎng)站，然后我們總是不能通過(guò)百度站長(zhǎng)平臺(tái)捕捉到診斷。為什么呢？蜘蛛不會(huì)爬我們的網(wǎng)站嗎？其實(shí)這對(duì)蜘蛛爬行網(wǎng)站確實(shí)有一定的影響。讓我們教你如何解決這個(gè)問(wèn)題。

如何解決爬行總是失敗的問(wèn)題！

1.檢查robots.txt是否禁止抓取語(yǔ)句

首先要檢查robots.txt中是否有禁止爬行的語(yǔ)句，教大家一個(gè)簡(jiǎn)單的方法。首先，您應(yīng)該刪除根目錄中的robots.txt，然后執(zhí)行爬網(wǎng)診斷。如果爬行成功，就證明是robots.txt的問(wèn)題，大家都需要糾正這個(gè)文件。如果爬行仍然失敗，請(qǐng)繼續(xù)閱讀。

2.更改DNS解析(一般有效時(shí)間為24小時(shí))

因?yàn)樽ト∈⊥ǔ１硎綝NS無(wú)法解析Ip，所以每個(gè)人都需要切換自己的DNS進(jìn)行域名解析。建議您切換到DNS進(jìn)行阿里云解析，這樣會(huì)很快生效。切換后最好等24小時(shí)。在全國(guó)范圍內(nèi)生效后，爬行診斷一般可以解決這個(gè)問(wèn)題。

3.網(wǎng)站是否打不開(kāi)，服務(wù)器是否不穩(wěn)定，防火墻蜘蛛是否被屏蔽

第三點(diǎn)是我們網(wǎng)站自身的問(wèn)題。有時(shí)會(huì)卡住，導(dǎo)致蜘蛛爬行不成功。你可以手動(dòng)測(cè)量網(wǎng)站的速度，然后在穩(wěn)定性好，確認(rèn)網(wǎng)站可以打開(kāi)的情況下測(cè)試蜘蛛爬行。一般來(lái)說(shuō)，虛擬主機(jī)有很多問(wèn)題。

另外，有些服務(wù)器是硬防護(hù)的，會(huì)自動(dòng)阻止一些Ip抓取，或者你安裝的防護(hù)軟件會(huì)自動(dòng)屏蔽Ip抓取，因?yàn)榉雷o(hù)系統(tǒng)會(huì)認(rèn)為這類(lèi)Ip在攻擊你的網(wǎng)站，所以你可以給技術(shù)方發(fā)一個(gè)工作指令，不要關(guān)閉你的防火墻，你可以關(guān)閉自己的防御軟件，測(cè)試后就OK了。

4、百度異常，檢查日志中是否有蜘蛛爬進(jìn)來(lái)

如果以上方法都嘗試過(guò)了，但是你的爬行還是失敗了，那就不能排除百度本身的問(wèn)題。你可以通過(guò)日志查看每天是否有蜘蛛來(lái)。如果有，而且是有規(guī)律的、正常的，你可以忽略在百度背景中爬行的蜘蛛

好了，今天就在這里分享吧。大家應(yīng)該明白，其實(shí)百度背景中的蜘蛛爬行并不代表實(shí)際的蜘蛛爬行。你可以自己分析網(wǎng)站的蜘蛛日志。當(dāng)你發(fā)現(xiàn)沒(méi)有蜘蛛的時(shí)候，恰好百度站長(zhǎng)的后臺(tái)爬行也是失敗的。這時(shí)，它就是你的網(wǎng)站。或者是服務(wù)器問(wèn)題。如果我上面提到的所有問(wèn)題都失敗了，你可以考慮讓空間供應(yīng)商給你換個(gè)Ip或者服務(wù)器試試。這個(gè)問(wèn)題通?？梢越鉀Q。

文章來(lái)源：SEO博客代代相傳

源地址：/seoti/460.html

« 二手車(chē)電器交易平臺(tái)不說(shuō)武德 | 優(yōu)化百度的高速照片知識(shí)。請(qǐng)照亮后衛(wèi)的原因 »