在診斷過程中，我們會(huì)遇到這樣的問題。有些網(wǎng)頁內(nèi)容很好，用戶可以正常訪問。然而，搜索引擎蜘蛛只是不能正常訪問和抓取它們，導(dǎo)致搜索結(jié)果覆蓋率不足，這是百度等搜索引擎和網(wǎng)站的損失。百度稱之為“搶奪例外”。對(duì)于很多內(nèi)容不能正常抓取的網(wǎng)站，100搜索引擎會(huì)認(rèn)為網(wǎng)站存在用戶體驗(yàn)的缺陷，降低網(wǎng)站的評(píng)價(jià)，在抓取、索引、排序等方面會(huì)受到一定程度的影響，從而終影響網(wǎng)站從搜索引擎獲取流量。

下面總結(jié)一些常見的搜索引擎蜘蛛抓取不到的原因，供大家參考。

有兩種服務(wù)器連接異常：一是網(wǎng)站不穩(wěn)定，百度蜘蛛在嘗試連接到你的網(wǎng)站服務(wù)器時(shí)暫時(shí)無法連接；二是百度蜘蛛已經(jīng)無法連接到你的網(wǎng)站服務(wù)器。

服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器太大和過載。您網(wǎng)站上的程序也可能無法正常工作。此方法可以檢查空間的服務(wù)器（如Apache、IIS）是否已安裝或正常運(yùn)行，或者空間的防火墻是否阻止蜘蛛爬網(wǎng)。

有兩種網(wǎng)絡(luò)運(yùn)營商：電信、聯(lián)通和移動(dòng)。百度蜘蛛無法通過運(yùn)營商的網(wǎng)絡(luò)訪問你的網(wǎng)站，所以你需要聯(lián)系運(yùn)營商，或者購買更好的服務(wù)空間或CDN服務(wù)。

當(dāng)百度蜘蛛無法解析你的網(wǎng)站IP時(shí)，就會(huì)出現(xiàn)DNS異常。可能是你的網(wǎng)站IP地址不對(duì)，或者百度蜘蛛被域名服務(wù)商禁止。您可以使用whois或host來檢查您網(wǎng)站的IP地址是否正確和可解析。如果沒有，請(qǐng)與域名服務(wù)提供商聯(lián)系。例如，pro犁SEO的域名提供商是Wannet，并更新IP地址。

IP屏蔽的性能包括：限制網(wǎng)絡(luò)的導(dǎo)出IP地址，禁止該IP段的用戶訪問內(nèi)容，特別是屏蔽百度蜘蛛的IP地址。當(dāng)你的網(wǎng)站不想百度蜘蛛訪問，你可以設(shè)置它。如果您希望百度蜘蛛訪問，請(qǐng)檢查相關(guān)設(shè)置，或聯(lián)系空間服務(wù)提供商更改設(shè)置。當(dāng)然，百度蜘蛛一般都會(huì)搶到它。

總結(jié)搜索引擎蜘蛛抓取不到頁面的原因及改善措施

簡而言之，死鏈接指的是正常但后來失敗的鏈接。當(dāng)死鏈接發(fā)送請(qǐng)求時(shí)，服務(wù)器返回404錯(cuò)誤頁。死鏈包括協(xié)議死鏈和內(nèi)容死鏈。協(xié)議死鏈：由頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確指示的死鏈，如404,403,503狀態(tài)等內(nèi)容死鏈：服務(wù)器返回的狀態(tài)是正常的，但內(nèi)容已被更改為不存在的信息頁，已被刪除，或需要權(quán)限，與原文內(nèi)容無關(guān)。

對(duì)于死鏈，建議網(wǎng)站使用協(xié)議死鏈，通過百度站長平臺(tái)死鏈工具提交給百度，這樣百度可以更快地找到死鏈，減少死鏈對(duì)用戶和搜索引擎的影響。

將網(wǎng)絡(luò)請(qǐng)求重定向到另一個(gè)位置是一個(gè)跳轉(zhuǎn)，它指的是以下情況：

（1）當(dāng)前頁是無效頁（包括要?jiǎng)h除的內(nèi)容、死鏈等），直接跳轉(zhuǎn)到上一個(gè)目錄或主頁。百度的建議是刪除無效頁面的入口超鏈接。

（2）長期以來跳轉(zhuǎn)到其他域名，如更改網(wǎng)站域名，百度建議使用301重定向跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。

（3）對(duì)于百度引薦人的例外情況：該網(wǎng)頁不用于百度引薦人的正常行為；

（4）對(duì)于Baidu-UA的例外：返回Baidu-UA頁面的行為與頁面的原始內(nèi)容不同；

（5）JS跳轉(zhuǎn)異常：網(wǎng)頁加載百度無法識(shí)別和發(fā)送的JS跳轉(zhuǎn)代碼，用戶通過搜索結(jié)果進(jìn)入網(wǎng)頁后跳轉(zhuǎn)。

（6）偶爾因壓力過大而被禁：百度會(huì)根據(jù)網(wǎng)站規(guī)模、訪問量等信息自動(dòng)設(shè)置合理的抓取壓力。但在壓力控制異常等異常情況下，服務(wù)器會(huì)根據(jù)自身負(fù)載進(jìn)行保護(hù)意外閉鎖。在這種情況下，請(qǐng)?jiān)诜祷卮a中返回503（503serviceunavailable，等同于404serviceunavailable），百度蜘蛛會(huì)在一段時(shí)間內(nèi)再次嘗試抓取鏈接。如果網(wǎng)站處于空閑狀態(tài)，將成功對(duì)其進(jìn)行爬網(wǎng)。