2018-06-14 21:56
百度搜索引擎的相關工作原理做一下小結:
搜索引擎就是通過一種簡單的搜索,通過這種搜索能夠查找到自己所需要的信息,像一些知名的所搜引擎主要有百度、谷歌、360、soso、必應、雅虎等等。
搜索引擎的抓取收錄原理流程:抓取->過濾->存儲索引庫->展示排序
第一步:搜索引擎爬取。蜘蛛都是通過來爬取網站頁面里的超文本鏈接來順藤摸瓜的,同時將所搜取得頁面信息放到緩存里面。
1.爬取方式:深度抓取、深度抓取。
深度抓取是指先抓取完一個欄目的內容頁,然再換個欄目以同樣的方式抓取。
廣度抓取也稱之為橫著抓取,它是指先抓取完每個欄目也,再抓取每個欄目頁下面的內容頁。
2.蜘蛛很難識別的內容
蜘蛛雖然很強大,但是由于受到技術的限制,并不是所有的信息都能夠識別過來,像Javascript代碼,iframe框架代碼機構,圖片,flash(視頻前后加文字輔助搜索引擎識別),需要登錄之后才能獲取的頁面信息,嵌套table等都很難識別,所以這時候你應該注意哪些問題,例如js代碼應該放在頁面底部,圖片借助于alt、title屬性輔助識別等等技巧。
第二步:過濾工作
并不是所抓取到的信息都是有用的,也并不是所有的信息都將保存在數據庫中,搜索引擎需要進行相關的過濾工作,將會把那些低俗,沒有價值質量,通過一些列采集,內容質量不豐富等信息過濾掉,展現在用戶面前的都將是存在一定價值的內容。
第三步:建立索引緩存數據庫
蜘蛛抓取過來的頁面內容并不會立馬存儲到自身的數據庫中,而是建立一個臨時的索引數據庫,經過相關的操作在進行一定的判斷。
第四步:搜索引擎展示排名排序
由于搜索引擎進入到用戶點擊時代,搜索引擎會把索引數據庫里面的信息的決定權交給用戶,讓用戶
來決定那個質量的高低,這樣然后再把那些索引數據庫里面的內容展現出來,同時也把這些信息轉化存儲到自身真正的數據庫中。所以再有了我們在搜索引擎所搜幾的結果,搜索根據各種算法進行排序,將質量最好的十個結果放在第一頁,這就是整個搜索引擎的大致工作原理,雖然不同的搜索原理有所差距,但是核心是一樣的。