近期,有小夥伴參加官方的公開(kāi)課,給大家分享了些關于網站抓取的知識,網站不收錄在2021年以來尤爲明顯,就算是從事(shì)多年的seo從業者,也在讨論如何提高網站收錄的問題,畢竟網站收錄牽扯到這(zhè)個網站很多的問題,今天小編也把學(xué)習到的些知識給大家分享下:
抓取是如何形成(chéng)的?
抓取器需要對(duì)網站頁面(miàn)進(jìn)行審核的的,也就是把首頁的所有的鏈接給提取出來,然對(duì)首頁進(jìn)行頁面(miàn)的理解,理解中包含對(duì)于頁面(miàn)的評估及質量,等下輪抓取的時候,抓取器會繼續與這(zhè)些鏈接進(jìn)行交互,然從這(zhè)些鏈接中再次抓取,進(jìn)行層層的抓取,抓取的越多了,網站的收錄就會越來越多。
對(duì)于URL的規範性
優秀的URL是可以促進(jìn)網站收錄的,我們在設置路徑的時候應該注意URL不能(néng)超過(guò)256字節,URL包含統計參數,可能(néng)會導緻重複抓取,浪費站點權益,所以竟可能(néng)不使用參數,如果定要使用參數,那麼(me)也可以保留必要參數,參數字符竟可能(néng)使用常規的連接符,比如“?”、“&”,避免非主流連接符。
合理的制作網站路徑
索引頁下的内容按發(fā)布時間逆序排序的,這(zhè)樣做有個好(hǎo)處,搜索引擎可以通過(guò)索引頁即使的抓取到你網站的資源,另外發(fā)布的資源要實時在索引頁同步,很多純靜态的網頁,内容更了,但是首頁(索引頁)卻沒(méi)有出來,這(zhè)樣會導緻搜索引擎通過(guò)索引頁無法即使的抓取到的資源了.