網站日志記錄的是搜索引擎對于網站的具體操作，當然不僅僅是搜索引擎，確切的說應該是所有進入網站的用戶對網站進行的操作，如登陸頁面、點擊頁面數量、頁面停留時間等等。通過網絡日志我們可以清楚的去了解每一個IP在網站上進行的操作，可以讓我們更快捷的對網站進行全面的了解。 石家莊網站建設★ 石家莊網站設計★網站制作★ 石家莊網頁設計-599元全包;企業網絡推廣☆ 石家莊網站優化☆seo☆關鍵詞排名☆百度快照-2200元全年展示;做網站優化排名- 石家莊網站建設公司?13172194676（注：選好網站模板，請聯系客服，百度云盤下載提取網站模板)http://curryupcaters.com/shijiazhuang/

    舉例來說，如果網站被攻擊，我們可以通過網絡日志來找到來路ip然后通過技術手段將其屏蔽等等。那下面我們來具體討論的內容就是網站日志文件中的所有內容，讓數據告訴我們蜘蛛進入我們的網站還有進行的操作來方便我們對SEO方案的下一步實施做出調整。下面筆者將向大家介紹日志分析的三個主要方面，第一個是我們可能會從特定站點看到的日志類型，外觀，信息的含義；第二個是如何分析這些數據以及如何獲得想要的內容；第三個是如何使用它來優化我們的頁面和站點。

    一，網絡日志類型

    日志有三種主要類型，主要是Apache但是我們還將看到W3C，彈性負載平衡，在諸如Kibana之類的產品中可能會看到很多。但是我們也可能會遇到一些自定義日志文件。因此，對于那些較大的網站，這并不罕見。我知道每個服務器其實都有一個自定義的日志文件系統，可以快速是自定義類型設置。

    我們在這些日志中能看到什么呢？我們希望可以肯定地看到：

1、請求服務器IP；

2、時間印記，即發出此請求的日期和時間；

3、所請求的URL，那么他們正在訪問哪個頁面；

4、HTTP狀態代碼，是否為200，是否已解決，是否為301重定向；

5、用戶代理，因此對于我們的SEO，我們只看這些用戶代理的蜘蛛信息。

    因此，日志文件通常會存儲所有數據，個人訪問量和訪問量，但我們要分析搜索引擎蜘蛛的訪問量。有時包括方法獲取/發布，然后花費的時間，客戶端IP和引薦來源網址。從本質上講，我們可能會看到該IP，即那個紅色的IP地址，該時間戳，獲取/發布或者不一定需要在某些方法中使用它。分析最好了解所有這些內容，所請求的URL，狀態代碼以及所有這些內容。

    二，網站日志分析

    我們要如何處理這些日志數據呢？又要如何來使用它們呢？很多工具非常適合為我們完成一些繁重的工作，筆者經常用的是愛站工具里分析網絡日志，簡單，而且是免費的，當然也還有其他的很多網站日志分析軟件，我們可以根據個人的習慣來選擇，但是我們必須將日志文件設置為特定類型的格式，以便他們來分析使用。

    如果我們找不到合適的日志分析工具，也不要緊，可以直接手動通過Excel來進行分析。我將CSV日志文件導入Excel，使用文本導入向導，基本上可以分隔出各種的分隔符號。無論是空格，逗號還是引號，我們都可以將其分解，以使它們每個都位于各自的列中且不會擔心會有多余的空白列。我們只需要創建數據透視表即可，可以鏈接到有關如何輕松實現此目的的資源。

    熱門頁面，從本質上講，我們可以在Excel中看到的是按頻率顯示，搜素引擎蜘蛛排名最高的頁面是什么？根據請求的次數，這些首頁是多少？

    熱門文件夾，我們還可以查看頂部的文件夾請求，最重要的是我們還可以查看以下內容：哪些最常見的蜘蛛類型影響了我們的網站？是Googlebot-Mobile嗎？是Baiduspider-image嗎？他們在尋找正確的資源嗎？這些都是很重要的信息數據。我們也可以使用狀態碼創建數據透視表，然后進行查看。我們現在可以洞悉以下內容：首頁中的某些頁面是如何解析的？頂部的文件夾是什么樣的？

    以谷歌為例，我們可以針對Googlebot IP進行此操作。這是我在日志文件分析中發現的不錯的方式，將Googlebot IP創建一個數據透視表，通常會得到有時是一堆，但我會得到所有獨特的，而且我可以在大多數標準計算機上的計算機上運行終端。我們要做的就是輸入“主機”，然后輸入該IP地址。我們可以使用此IP地址在網站的終端上執行此操作，然后它將作為Google.com解析。這證明它確實是Googlebot，而不是其他一些欺騙Google的爬蟲。因此，這些工具往往會自動處理這些問題，但是也有一些方法可以手動完成。

    三，優化頁面并抓取預算

    我們如何優化這些日志數據并真正開始增加我們的抓取預算呢？所謂抓取預算主要是指直至進入我們的網站的次數以及它們通常抓取的頁面數。搜尋預算是什么樣子，又如何來提高效率呢？

    1、服務器錯誤意識：服務器錯誤意識是非常重要的，最好留意某些頁面上500個錯誤的增加。

    2、404s：蜘蛛找到的所有400頁面，這一點非常重要。400請求是有效的400嗎？該頁面是否存在？還是它應該存在但不再存在的頁面，而我們可以修復。如果哪里有錯誤或不應該在那里，引薦來源是什么？蜘蛛是如何發現這一點的？我們如何開始清理其中的某些東西？

    3、隔離301s并修復常見的301鏈：301s在日志文件中有很多關于301s的問題。我們發現最好的方法就是隔離并修復最常見的301鏈。因此，我們可以在數據透視表中執行此操作。當我們將其與爬網數據進行配對時，這樣做實際上要容易得多，因為現在我們對該鏈有了更多了解。我們可以做的是，查看最常見的301，然后查看該鏈是否有任何簡單，快速的修復方法？有什么可以刪除并迅速解決的問題？

    4、移動優先：我們可以先關注移動版蜘蛛。如果我們的網站首先使用移動設備，則可以對其進行挖掘，查看日志并評估其外觀。Googlebot仍然看起來像兼容的Googlebot 2.0。但是，它將在括號之前包含所有移動含義。因此，我確信這些工具可以自動知道這一點。但是，如果我們要手動執行某些操作，則最好了解其外觀。

    5、缺失的內容：蜘蛛發現和抓取的內容是什么，它們完全丟失了什么？最簡單的方法是與我們的站點地圖進行交叉比較，這是一種非常實用的方法，可以查看可能遺漏的內容以及原因以及如何以及可能的情況下如何重新安排站點地圖中的數據優先級或將其集成到導航中。

    6、比較點擊率與點擊量：對蜘蛛的點擊頻率與點擊量進行比較，這樣的操作讓我們不僅可以看到潛在的相關性，而且還可以看到可能要增加爬網流量或在特定的高流量頁面上進行爬網的位置。

    7、網址參數：看看Googlebot是否使用參數字符串訪問任何網址。我們不要那樣它通常只是重復的內容或者可以在Google Search Console中通過參數部分分配的內容。

    8、評估天，周，月：我們可以評估網站的天，周和月。每周都會有高峰嗎？每月都有峰值嗎？

    9、評估速度和外部資源：我們可以評估請求的速度，以及是否有潛在的外部資源可以清理并加快爬網速度。

    10、優化導航和內部鏈接：根據SEO系統學習中的方式來優化導航并使用操作來優化索引。

    11、元noindex和robots.txt不允許使用：如果我們不想在索引中包含某些內容并且不想從robots.txt中進行檢索，則可以添加所有這些內容并開始也可以幫助解決這些問題。

    四，重新評估

    最后，將爬網數據與其中的某些數據連接確實很有幫助。如果我們使用的是類似Screaming Frog的工具就要知道它們允許與不同的服務器日志文件進行這些整合分析，從而為我們提供了更多的見解。而我們要做的只是需要重新評估即可。