使用了非國內服務器或者CloudFlare后，去站長后臺抓取針對，經常會出現抓取失敗，或者提示socket讀寫錯誤，cf對蜘蛛我感覺是不友好的，許多時候使用了cf網站打開速度慢，蜘蛛抓取也有困難，會導致網站流量和SEO出現波動!
其實導致搜索引擎抓取失敗的原因還有服務器不穩定、人為操作失誤、DNS異常、域名服務商把搜索引擎蜘封禁、移動聯通電信網絡運營商問題、ip被封禁等，以上這些都不是東風今天要說的話題，我們就只看看使用CloudFlare或者反向代理后的抓取失敗問題!下面我們看看怎么操做
1、準備好自己的阿里云或者騰訊云賬號，下面我用自己的騰訊云來操作舉例
2、打開騰訊云DNS網址 https://www.dnspod.cn/選擇DNS解析
3、添加域名 不要www.baidu.com,輸入頂級域名baidu.com即可
4、根據提示替換DNS，去域名管理替換掉原來的DNS
5、添加解析記錄，一條的線路類型選擇搜索引擎，也可以具體到百度還是搜狗等，記錄值填寫真實的服務器IP，如果網站做了反向代理，就在添加一條記錄，記錄值選擇反向代理服務器的IP
通過以上5個步驟，CloudFlare或者反向代理后的抓取失敗問題就解決了，因為給搜索引擎提供了抓取的ip，就不會在出現抓取失敗的問題了!是否還有更好的處理方法，如果您知道的話，希望能和東風分享，謝謝閱讀!
標簽：
