如何通過分析日志的真實(shí)性來鑒別百度(Google)蜘蛛？假蜘蛛有哪些危害？我們的SEO優(yōu)化人員在分析網(wǎng)站日志時(shí)肯定遇到過。網(wǎng)站看起來有很多來自百度蜘蛛的ip訪問，但實(shí)際上有一部分是假冒無效的搜索引擎蜘蛛ip。這些假蜘蛛并不友好，可能會(huì)影響網(wǎng)站，更有可能在你分析蜘蛛抓取情況的時(shí)候迷惑觀眾，誤導(dǎo)你。所以我們應(yīng)該可以通過分析日志來正確識(shí)別百度(Google)的真假蜘蛛。

輕松識(shí)別百度真假蜘蛛的兩種方法

首先看人臉識(shí)別

當(dāng)我們看的多了，經(jīng)歷的多了，就能一眼看出哪個(gè)百度蜘蛛IP是真實(shí)的。

百度官方真假蜘蛛文檔是這樣記錄的:

新的移動(dòng)ua:

Mozilla/5.0(linux；u；安卓4 . 2 . 2；zh-；)AppleWebKit/534.46 (KHTML，像壁虎一樣)版本/5.1手機(jī)Safari/10600.6.3(兼容；baiduspider/2.0；+ . Baidu . /search/spider . html)

PC ua:

Mozilla/5.0(兼容；baiduspider/2.0；+ . Baidu . /search/spider . html)

所以按照百度的說法，不像這個(gè)樣子的都是假的，全部都會(huì)被拉出來。比如有一個(gè)這樣的百度假蜘蛛。

假蜘蛛:

baiduspider+(+ . Baidu . /search/spider . htm)

二、通過DOS命令查詢

我們通過dos命令檢查它。我們正在尋找兩個(gè)IP段，220.181.108.140和117.28.255.37。

開始-運(yùn)行-輸入cmd并使用命令nslookup +ip查看:

如果是真實(shí)的IP段:

百度蜘蛛

如何辨別真假百度搜索引擎蜘蛛IP

錯(cuò)誤:

百度SEO

如何辨別真假百度搜索引擎蜘蛛IP

注:只要是百度的IP段，代碼里都會(huì)有一個(gè)名字:baiduspider。如果不出現(xiàn)，就不是真正的百度IP。

PS: Google也一樣:會(huì)有g(shù)ooglebot等。

百度(Google)假蜘蛛的危害是什么？

1.占用網(wǎng)站帶寬，導(dǎo)致網(wǎng)站流量增加，額外支出；

2.在帶寬有限的前提下，阻礙了正常蜘蛛的抓取，誤導(dǎo)了我們開展網(wǎng)站SEO工作的思路；

3.一些偽裝成假蜘蛛的采集工具抄襲了我們的作品；

4.假蜘蛛無法抓取內(nèi)容，無法形成數(shù)據(jù)庫進(jìn)行收錄，所以影響不大。

PS:假蜘蛛有一些危害，一般都在可控范圍內(nèi)，所以一旦發(fā)現(xiàn)假蜘蛛來訪爬行，可以暫時(shí)屏蔽。可以先觀察百度站長(zhǎng)的網(wǎng)站抓取是否正常，再看具體危害，比如這種假蜘蛛是否長(zhǎng)期出現(xiàn)。經(jīng)過一段時(shí)間的觀察，如果沒有問題，就不要理會(huì)了。如果有影響，就用robots協(xié)議屏蔽這個(gè)ip段的假蜘蛛。但是需要注意的是，屏蔽的時(shí)候，不要屏蔽錯(cuò)誤。

以上就是林允給大家分享的如何識(shí)別百度和Google的真假蜘蛛，以及假蜘蛛的危害。記住，假蜘蛛的存在并不一定影響網(wǎng)站。更重要的是，你要知道哪些是假蜘蛛，不要被誤導(dǎo)。除了以上兩種鑒別方法，網(wǎng)上百度可以查看蜘蛛真實(shí)性查詢工具(輸入要查詢的ip)知道是否是真的百度蜘蛛。