搜索引擎對網頁的抓取實際上就是在互聯網上進行數據采集，這是搜索引擎最基礎的工作。搜索引擎的數據采集能力直接決定了搜索引擎可提供的信息量及對互聯網覆蓋的范圍，從而影響搜索引擎查詢結果的質量。因此，搜索引擎總是想方設法地提高它的數據采集能力。索引擎利用數據采集程序在互聯網上抓取數據，我們稱這個數據采集程序為蜘蛛程序或者機器人程序。

本文首先會介紹搜索引擎抓取頁面的流程及方式，再介紹搜索引擎對已抓取頁面的存儲及維護方式。

1. 頁面抓取流程

在互聯網中，URL是每個頁面的入口地址，搜索引擎蜘蛛程序就是通過URL抓取到頁面的。搜索引擎蜘蛛程序從原始URL列表出發，通過URL抓取并存儲原始頁面;同時，提取原始頁面中的URL資源并加入到URL列表中。如此不斷地循環，就可以從互聯網中獲取到足夠多的頁面，如圖所示。

圖　搜索引擎抓取頁面簡單流程

URL是頁面的入口，而域名則是一個網站的入口。搜索引擎蜘蛛程序通過域名進入網站，從而展開對網站頁面的抓取。換言之，搜索引擎要在互聯網上抓取到頁面的首要任務就是建立一個足夠大的原始域名列表，再通過域名進入相應的網站，從而抓取這個網站中的頁面。

而對于網站來說，如果想要被搜索引擎收錄，首要的條件就是加入搜索引擎的域名列表。下面由南昌網站制作公司百恒網絡SEO專員向大家介紹兩種常用的加入搜索引擎域名列表的方法。

第一，利用搜索引擎提供的網站登錄入口，向搜索引擎提交網站的域名。例如，Google的網站登錄地址是http://www.google.com/addurl/2。對于提交的域名列表，搜索引擎只會定期進行更新。因此，這種做法比較被動，從域名提交到網站被收錄花費的時間也比較長。以下是主流中文搜索引擎的網站提交入口。

在實際中，我們只需要提交網站的首頁地址或者網站的域名，搜索引擎就會跟蹤首頁中的鏈接去抓取其他頁面。

百度：http://www.baidu.com/search/url_submit.htm。

360：http://info.so.360.cn/site_submit.html。

搜狗：http://www.sogou.com/feedback/urlfeedback.php。

Google：http://www.google.com/addurl/(需要注冊使開通站長工具才能提交)。

第二，通過與外部網站建立鏈接關系，使搜索引擎可以通過外部網站發現我們的網站，從而實現對網站的收錄。這種做法主動權掌握在我們自己的手里(只要我們擁有足夠多高質量的鏈接即可)，而且收錄速度也比向搜索引擎主動提交要快得多。視乎外部鏈接的數量、質量及相關性，一般情況下，2～7天左右就會被搜索引擎收錄。

2. 頁面抓取

通過上面的介紹，相信讀者已經掌握了加快網站被搜索引擎收錄的方法。然而，怎樣才能提高網站中頁面被收錄的數量呢?這就要從了解搜索引擎收錄頁面的工作原理開始。

如果把網站頁面組成的集合看作是一個有向圖，從指定的頁面出發，沿著頁面中的鏈接，按照某種特定的策略對網站中的頁面進行遍歷。不停地從URL列表中移出已經訪問過的URL，并存儲原始頁面，同時提取原始頁面中的URL信息;再將URL分為域名及內部URL兩大類，同時判斷URL是否被訪問過，將未被訪問過的URL加入URL列表中。遞歸地掃描URL列表，直至耗盡所有URL資源為止。經過這些工作，搜索引擎就可以建立龐大的域名列表、頁面URL列表及存儲足夠多的原始頁面。

3. 頁面抓取方式

通過以上內容，大家已經了解了搜索引擎抓取頁面的流程及原理。然而，在互聯網數以億計的頁面中，搜索引擎怎樣才能從中抓取到更多相對重要的頁面呢?這就涉及搜索引擎的頁面抓取方式問題。

頁面抓取方式是指搜索引擎抓取頁面時所使用的策略，目的是為了能在互聯網中篩選出更多相對重要的信息。頁面抓取方式的制定取決于搜索引擎對網站結構的理解。如果使用相同的抓取策略，搜索引擎在同樣的時間內可以在某一網站中抓取到更多的頁面資源，則會在該網站上停留更長的時間，抓取的頁面數自然也就更多。因此，加深對搜索引擎頁面抓取方式的認識，有利于為網站建立友好的結構，增加頁面被抓取的數量。

常見的搜索引擎抓取頁面的方式主要有廣度優先、深度優先、大站優先、高權重優先、暗網抓取及用戶提交等，接下來將詳細介紹這幾種頁面抓取方式及其優缺點。

廣度優先

如果把整個網站看作是一棵樹，首頁就是根，每個頁面就是葉子。廣度優先是一種橫向的頁面抓取方式，先從樹的較淺層開始抓取頁面，直至抓取完同一層次上的所有頁面后才進入下一層。因此，在對網站進行優化的時候，我們應該把網站中相對重要的信息展示在層次較淺的頁面上(例如，在首頁上推薦一些熱門產品或者內容)。因此，通過廣度優先的抓取方式，搜索引擎就可以優先抓取到網站中相對重要的頁面。

我們來看一下廣度優先的抓取流程。首先，搜索引擎從網站的首頁出發，抓取首頁上所有鏈接指向的頁面，形成頁面集合(A)，并解析出集合(A)中所有頁面的鏈接;再跟蹤這些鏈接抓取下一層的頁面，形成頁面集合(B)。就這樣遞歸地從淺層頁面中解析出鏈接，從而抓取深層頁面，直至滿足了某個設定的條件后才停止抓取進程，如圖所示。

廣度優先抓取流程

深度優先

與廣度優先的抓取方式恰恰相反，深度優先是一種縱向的頁面抓取方式，首先跟蹤的是淺層頁面中的某一個鏈接，從而逐步抓取深層次頁面，直至抓取完最深層次的頁面后才返回淺層頁面繼續向深層頁面抓取。使用深度優先的抓取方式，搜索引擎可以抓取到網站中比較隱蔽、冷門的頁面，這樣才能滿足更多用戶的需求。

我們來看一下深度優先的抓取流程。首先，搜索引擎會抓取網站的首頁，并提取首頁中的鏈接;再沿著其中的一個鏈接抓取到頁面，同時提取其中的鏈接;接著，沿著頁面1-1中的一個鏈接A-1抓取到頁面2-1，同時提取其中的鏈接;再沿著頁面2-1中的一個鏈接B-1繼續抓取更深一層的頁面。這樣遞歸地執行，直至抓取到網站最深層的頁面或者滿足了某個設定的條件才轉回到首頁繼續抓取，如圖所示。

深度優先抓取流程

大站優先

由于大型網站比小型網站更有可能提供更多更有價值的內容，因此，如果搜索引擎優先抓取大型網站中的網頁，那么就可以在更短的時間內為用戶提供更有價值的信息。大站優先，顧名思義就是對互聯網中大型網站的頁面進行優先抓取，是搜索引擎中的一種信息抓取策略。

怎樣識別所謂的大型網站呢?一是前期人工整理大站種子資源，通過大站發現其他的大站;二是對已經索引的網站進行系統的分析，從而識別那些內容豐富、規模較大、信息更新頻繁的網站。

在完成大站識別后，搜索引擎就會對URL資源列表中大站的頁面進行優先抓取。這也是為什么大型網站往往會比小站內容抓取更及時的原因之一。 高

權重優先

權重，簡單地說就是搜索引擎對網頁重要性的一種評定。所謂的重要性歸根到底就是網站或者網頁的信息價值。

高權重優先是對URL資源列表中的高權重網頁進行優先抓取的網頁抓取策略。網頁權重(如Google PageRank值)高低往往是由諸多因素決定的，例如，網頁的外部鏈接數量及質量。如果下載一個URL就重新計算所有已下載URL資源的權重值，這樣的效率是極其低下的，顯然是不現實的。所以，搜索引擎會傾向于每下載若干URL資源后就對已下載的URL進行權重計算(即不完全的權重計算)，以此來確定這些URL資源所對應頁面的權重值，從而對較高權重值的網頁進行優先抓取。

由于權重計算是基于部分數據而得出的結果，可能會與真實權重有較大出入(即失真)。因此，這種高權重優先的抓取策略也有可能會對次要頁面進行優先抓取。

暗網抓取暗網(又稱作深網、不可見網、隱藏網)是指那些存儲在網絡數據庫里、不能通過超鏈接訪問而需要通過動態網頁技術或者人工發起查詢訪問的資源集合，不屬于那些可以被標準搜索引擎索引的信息。

本文僅限內部技術人員學習交流,不得作于其他商業用途.希望此文對廣技人員有所幫助。原創文章出自:南昌網站建設公司-百恒網絡http://www.51yjwy.com/如轉載請注明出處!