【SEO培訓(xùn)】:正文提取知識

 

　　網(wǎng)上有不少關(guān)于正文提取的算法,有基于dom樹,文字長度,投票,視覺信息的,這些都可以簡單了解一下,不過對于國內(nèi)主要搜索引擎百度,我們就得盡量找找他有沒有這方面的專利.

 

　　百度專利<<一種用于對頁面進行主體識別的方法與設(shè)備>>申請于2011年,里面是這樣識別主體的

 

　　1.對頁面進行分塊,分塊就是對一些標簽進行合并,html標簽中一般來講p,span,font等是常見的用于文本的標簽,div,table,td等是用于塊的標簽,通過合并,可以簡化頁面的結(jié)構(gòu),便于分析.

 

　　2.對塊進行合并,當屬于同一層級,并且是屬于可合并類型(這里類型不限于圖片,文本,鏈接等)的塊進行合并,可以簡單理解為段落的合并.

 

　　3.對合并后的塊進行字體格式信息,行數(shù),寬度,位置進行識別

 

　　4.對主體進行識別,這里有相應(yīng)的投票機制和算法,舉例:如果塊位于網(wǎng)頁的中部,行數(shù)和寬度大于預(yù)設(shè)閾值,標題字號和文本字號不同,就識別為主體.

 

　　上面是這篇專利主要講的方法,但要明白,不同的行業(yè)其實是有不同的識別規(guī)則的,有些行業(yè)由于數(shù)據(jù)結(jié)構(gòu)的特殊性,所以并不是字數(shù)多就是主體,比如商品頁,字段最多的可能是評論區(qū)塊.所以對于不同行業(yè)要做不同的分析