分析網(wǎng)站日志是SEOer的必備技能，通過(guò)對網(wǎng)站日志進(jìn)行分析，我們可以更加清楚的了解到搜索引擎對網(wǎng)站爬行抓取的情況，即何時(shí)何種搜索引擎抓取了哪個(gè)URL頁(yè)面以及搜索引擎是否抓取成功，抓取網(wǎng)頁(yè)的數據量是多殺等信息。通過(guò)對這些數據的整理分析，我們可以很清楚的了解到網(wǎng)站的運行狀態(tài)以及搜索引擎蜘蛛的爬行狀態(tài)，為后期的SEO操作提供數據基礎。

思維淺析

說(shuō)到網(wǎng)站日志，很多新手都覺(jué)得這個(gè)太復雜了，表示自己看不懂，更得不出指導SEO操作的結論。這么說(shuō)大都是由于不清楚網(wǎng)站日志數據的具體含義，以及不能正確的讀取網(wǎng)站日志文件所反映出的信息。

所謂的網(wǎng)站日志，并沒(méi)有想象中那么深奧，簡(jiǎn)單的講就是記錄訪(fǎng)客訪(fǎng)問(wèn)網(wǎng)站的軌跡和痕跡所產(chǎn)生的文件記錄，在這里搜索引擎蜘蛛對網(wǎng)站的抓取可以看成網(wǎng)站的一種特殊訪(fǎng)客。

01

在分析網(wǎng)站日志之前我們需要對日志文件的一些基本參數信息做個(gè)簡(jiǎn)單了解。

#Software:表示軟件名稱(chēng)
#Version: 表示版本號
#Date: 表示時(shí)間
#Fields：（這里對應的即是網(wǎng)站日志文件中記錄條目，各項參數的具體釋義如下）

date：發(fā)請求的日期。
time：發(fā)出請求時(shí)間。
c-ip：客戶(hù)端IP地址。
......

02

盡管網(wǎng)站日志中的參數很多，但對我們做SEO優(yōu)化來(lái)說(shuō)，需要關(guān)注的是ip地址、時(shí)間、時(shí)區、訪(fǎng)問(wèn)路徑、http狀態(tài)碼、字節數訪(fǎng)問(wèn)頁(yè)面、客戶(hù)端瀏覽信息等參數值。

03

示例：117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"（如果你的日志里格式不是如此，則代表日志格式設置不同）

117.26.203.167 訪(fǎng)問(wèn)ip
02/May/2011:01:57:44 -0700 訪(fǎng)問(wèn)日期 -時(shí)區（不同日志時(shí)間格式有所差異）
GET/index.php HTTP/1.1 根據HTTP/1.1 協(xié)議 抓取根目錄下index.php這個(gè)頁(yè)面（GET表示服務(wù)器動(dòng)作，/代表根目錄）

注意：很多日志里可以看到 200 0 0和200 0 64 則都代表正常抓取。

04

在整個(gè)網(wǎng)站日志中如何區分哪些是普通訪(fǎng)客哪些是搜索引擎呢？很簡(jiǎn)單，就是通過(guò)觀(guān)察日志記錄中表示訪(fǎng)問(wèn)者信息的那一段進(jìn)行區別。

百度官方給出的UA如下圖所示：

但需要注意的是盡管記錄中的UA與百度官方給出的UA相同，也可能是偽造的百度蜘蛛UA，因此可以使用IP反查確認是否為真實(shí)的百度蜘蛛訪(fǎng)問(wèn)抓取網(wǎng)站。

通過(guò)DNS反查IP的方式判斷spider是否來(lái)自百度搜索引擎。根據平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

1）、在linux平臺下，使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。
2)、在windows平臺或者IBM OS/2平臺下，使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取。
3）、 在mac os平臺下，您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取。

Tips：Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

分析網(wǎng)站日志是每一位SEOer的必備技能，通過(guò)網(wǎng)站日志可以更加清楚的了解到搜索引擎爬行抓取網(wǎng)站內容的情況，同時(shí)當網(wǎng)站出現被黑或者掛馬等情況，通過(guò)分析網(wǎng)站日志，也能快速的定位到可疑文件，幫助站長(cháng)快速解決網(wǎng)站的安全隱患。