眾所周知，只有搜索弓蜘蛛抓取并收錄的頁面才能參與搜索結果排名的競爭，因此如何建立網站與搜索引擎蜘蛛的關系是站長們最關心的問題。

搜索引擎蜘蛛(也稱為： web spider和網絡爬蟲)使用極其復雜的爬行策略來遍歷互聯(lián)網上盡可能多的網站，也需要在保證網站的用戶體驗不受影響的綜合考慮下抓取更多有價值的資源。各大搜索弓|引擎每天都會發(fā)送大量蜘蛛，起點通常是權重較高的網站或者訪問量較大的服務器。

搜索引擎蜘蛛會沿著內外鏈入口訪問更多的網站頁面，并將網頁信息存儲在數(shù)據庫中。就像圖書館一樣，它把不同的書分類，最后壓縮加密成可以閱讀的方式，放在硬盤上供搜索用戶獲取。我們搜索的互聯(lián)網就是這個數(shù)據庫。

從10號開始

首先，搜索引擎蜘蛛喜歡抓取定期更新的網站。從某種意義上說，網站的更新頻率與抓取頻率成正比。即使在網站前期，沒有蜘蛛來抓取文章，它們也應該定期更新。通過這種方式，蜘蛛可以獲取并統(tǒng)計這個網站的更新規(guī)則，并定期抓取新內容，從而可以盡快抓取更新后的網站文章。

其次，原創(chuàng)性和新鮮感較高的文章更容易被蜘蛛抓取和收錄。如果網站中有大量重復的內容，會讓蜘蛛覺得爬得太多沒有意義，還會讓搜索弓質疑網站的質量，甚至導致懲罰?！靶迈r度”主要指內容的受歡迎程度和有效性，近期的“大事件”“熱點事件”容易被用戶注意到，被蜘蛛抓取。

除了以上兩點，關鍵詞的分布對蜘蛛抓取也有重要影響。因為關鍵詞是區(qū)分一個頁面內容的重要因素之一，太多的關鍵詞會被搜索引擎視為“作弊”，所以關鍵詞的分布要控制在2%-8%左右的密度。

第二，保證服務器的穩(wěn)定運行

服務器的穩(wěn)定性不僅關系到網站的用戶體驗，對蜘蛛爬行也有很大的影響。站長要定期檢查服務器狀態(tài)，查看網站日志，查看是否有500狀態(tài)碼等標識，及時發(fā)現(xiàn)隱患。

如果網站遇到黑客攻擊、服務器誤刪網站、服務器硬件癱瘓等問題，停機時間超過12小時，應立即開啟百度站長平臺的防護功能，防止百度誤判網站存在大量無效死鏈頁面，及時修復網站和服務器。

服務器長期不穩(wěn)定會導致蜘蛛對頁面進行有效抓取，降低搜索引擎的友好度，導致收錄度和排名下降。因此，網站必須選擇穩(wěn)定的服務器。

第三，優(yōu)化網站結構

如果網站內容不錯，但頁面很少收錄，大部分是因為頁面根本沒有被蜘蛛抓取。這個時候網站要全面測試，包括Robots文件、頁面層次、代碼結構、網站鏈接等等。

1.機器人文件，全稱是“機器人分類協(xié)議”。網站可以通過Robots協(xié)議告訴蜘蛛哪些頁面可以抓取，哪些頁面不能抓取。

2.頁面層次表現(xiàn)在網站的物理層次和邏輯層次等多個方面。以邏輯層次的URL結構為例，內存方便、層次短、長度適中的靜態(tài)URL受到搜索弓和蜘蛛的青睞。URL結構(用“/”標記)一般不要超過4層。過于復雜的結構不利于搜索|列表，也會影響用戶體驗。

3.網站代碼類別和結構也會影響網頁是否被蜘蛛抓取。比如：IFRAME、JavaScript等代碼，目前百度搜弓蜘蛛無法有效理解和抓取，所以有必要盡量減少這類代碼的使用。此外，過多的代碼會導致蜘蛛抓取不完整。

4.網站鏈接是網頁之間權重傳遞的“入口”。鏈接的數(shù)量和質量直接影響網頁能否被蜘蛛抓取和收集。低質量的鏈接堆疊只會給網站帶來毀滅性的災難，并及時消除錯誤鏈接和死鏈接，從而減少蜘蛛對死鏈接的抓取時間。盡可能從正規(guī)和相關的網站拿回鏈接，這樣可以增加網站的權重。

此外，網站還可以為蜘蛛提供一些快捷通道，比如sitemap。-結構清晰的網站地圖可以讓搜索引導蜘蛛清晰地了解網站結構，從而成功抓取整個網站頁面。

通過高質量的內容更新、高質量的鏈接交換和合理的網站結構，搜索弓和蜘蛛可以更好地了解網站，抓取網站頁面。但是不能發(fā)布一些與網站內容無關的頁面，或者過度優(yōu)化網站。因為只有真正用心去做，給用戶帶來價值的網站，才能被搜索引擎和用戶喜歡。

轉載自木易SEO博客，本文鏈接地址為：/2494.html

« 2018年社交電子商務八大關鍵詞：有繁榮，有漏洞，還需要向前探索！ | 微博CEO：流量≠品牌，訪客，用戶，收入≠價值 »