從搜索引擎所采取的技術來說，可以將搜索引擎技術的發展分為4個時代：分類目錄、文本檢索、連接分析和用戶中心。

　　史前一代：分類目錄的一代

　　這個時代也可以成為“導航時代”，Yahoo和hao123是這個時代的代表。通過人工收集整理，把各類別的高質量網站或者網頁分門別類羅列，用戶可以根據分級目錄來查找高質量的網站。這種方式是純人工的方式，并未采取什么高深的技術手段。

　　采取分類目錄的方式，一般被收錄的網站質量都較高，但是這種方式可擴展性不強，絕大部分網站不能被收錄。

　　第一代：文本檢索的一代

　　文本檢索的一代采用經典的信息檢索模型，比如布爾模型、向量空間模型或者概率模型，來計算用戶查詢關鍵詞和網頁文本內容的相關程度。網頁之間有豐富的鏈接關系，而這一代搜索引擎并未使用這些信息。早期的很多搜索引擎比如Alta Vista、Excite等大都采取這種模式。

　　相比分類目錄，這種方式可以收錄大部分網頁，并能夠按照網頁內容和用戶查詢的匹配程度進行排序。但是總體而言，搜索結果質量不是很好。

　　第二代：連接分析的一代

　　這一代的搜索引擎充分利用了網頁之間的鏈接關系，并深入挖掘和利用了網頁鏈接所代表的含義。通常而言，網頁鏈接代表的一種推薦關系，所以通過鏈接分析可以在海量內容中找出重要的網頁。這種重要性本質上是對網頁流行程度的一種衡量，因為被推薦次數多的網頁其實代表了其具有流行性。搜索引擎通過結合網頁流行性和內容相似性來改善搜索質量。

　　Google率先提出并使用PageRank鏈接分析技術，并大獲成功，這同時也引進了學術界和其他商業搜索引擎的關注。后來學術界陸續推出了很多改進的鏈接分析算法。目前幾乎所有的商業搜索引擎都采取了鏈接分析技術。

　　采用鏈接分析能夠有效改善搜索質量，但是這種搜索引擎并未考慮用戶的個性化要求，所以只要輸入的查詢請求相同，所有用戶都會獲得相同的搜索結果。另外，很多網站擁有者為了獲得更高的搜索排名，針對鏈接分析算法提出了不少鏈接作弊方案，這樣導致搜索結果質量變差。

　　第三代：用戶中心的一代

　　目前的搜索引擎大都可以歸為第三代，即以理解用戶需求為核心。不同用戶即使輸入同一個查詢關鍵詞，但其目的也有可能不一樣。比如同樣輸入“蘋果”作為查詢詞，一個追捧iPhone的時尚青年和一個果農的目的會有相當大的差距。即使是同一個用戶，輸入相同的查詢詞，也會因為所在的時間和場合不同，需求有所變化。而目前搜索引擎大都致力于解決如下問題，如何能夠理解用戶發出的某個很短小的查詢詞背后包含的真正需求，所以這一代搜索引擎稱之為以用戶為中心的一代。

　　為了能夠獲取用戶的真實需求，目前搜索引擎大都做了很多技術方面的嘗試。比如利用用戶發送查詢詞時的時間和地理位置信息，利用用戶過去發出的查詢詞及相應的點擊記錄、歷史信息等技術手段，來試圖理解用戶此時此刻的真正需求。