使用了非國內(nèi)服務(wù)器或者CloudFlare后，去站長后臺抓取針對，經(jīng)常會出現(xiàn)抓取失敗，或者提示socket讀寫錯(cuò)誤，cf對蜘蛛我感覺是不友好的，許多時(shí)候使用了cf網(wǎng)站打開速度慢，蜘蛛抓取也有困難，會導(dǎo)致網(wǎng)站流量和SEO出現(xiàn)波動(dòng)!
其實(shí)導(dǎo)致搜索引擎抓取失敗的原因還有服務(wù)器不穩(wěn)定、人為操作失誤、DNS異常、域名服務(wù)商把搜索引擎蜘封禁、移動(dòng)聯(lián)通電信網(wǎng)絡(luò)運(yùn)營商問題、ip被封禁等，以上這些都不是東風(fēng)今天要說的話題，我們就只看看使用CloudFlare或者反向代理后的抓取失敗問題!下面我們看看怎么操做
1、準(zhǔn)備好自己的阿里云或者騰訊云賬號，下面我用自己的騰訊云來操作舉例
2、打開騰訊云DNS網(wǎng)址 https://www.dnspod.cn/選擇DNS解析
3、添加域名 不要www.baidu.com,輸入頂級域名baidu.com即可
4、根據(jù)提示替換DNS，去域名管理替換掉原來的DNS
5、添加解析記錄，一條的線路類型選擇搜索引擎，也可以具體到百度還是搜狗等，記錄值填寫真實(shí)的服務(wù)器IP，如果網(wǎng)站做了反向代理，就在添加一條記錄，記錄值選擇反向代理服務(wù)器的IP
通過以上5個(gè)步驟，CloudFlare或者反向代理后的抓取失敗問題就解決了，因?yàn)榻o搜索引擎提供了抓取的ip，就不會在出現(xiàn)抓取失敗的問題了!是否還有更好的處理方法，如果您知道的話，希望能和東風(fēng)分享，謝謝閱讀!
標(biāo)簽：
