搜索引擎系統(tǒng)是最復雜的計算系統(tǒng)之一，當今主流搜索引擎服務商都是有財力、人力的大公司。即使有技術、人力、財力的保證，搜索引擎還是面臨很多技術挑戰(zhàn)。搜索引擎誕生后的十多年中，技術已經得到了長足的進步。我們今天看到的搜索結果質量與10年 前相比己經好得太多了。不過這還只是一個開始，搜索引擎必然還會有更多創(chuàng)新，提供更多、更準確的內容。

總體來說，搜索引擎主要會面對以下幾方面的挑戰(zhàn)
1.頁面抓取需要快而全面
互聯(lián)網是一個動態(tài)的內容網絡，每天有無數(shù)頁面被更新、創(chuàng)建，無數(shù)用戶在網站上發(fā)布內容、溝通聯(lián)系，要返回最有用的內容，搜索引擎就要抓取最新的頁面，但是由于頁面數(shù)量巨大，搜索引擎蜘蛛更新一次數(shù)據(jù)庫中的頁面要花很長時間，搜索引擎剛誕生時，這個抓取周期往往以幾個月計算，這也就是Google在2003年以前每個月有一次大更新的原因所在。
現(xiàn)在主流搜索引擎都已經能在幾天之內更新重要頁面，權重高的網站上的新文件幾小時甚至幾分鐘之內就會被收錄，不過，這種快速收錄和更新也只能局限于高權重網站，很多頁面幾個月不被重新抓取和更新，也是非常常見的。
要返回最好的結果，搜索引擎也必須抓取盡量全面的頁面，這就需要解決很多技術問題。一些網站并不利于搜索引擎蜘蛛爬行和抓取，諸如網站鏈接結構的缺陷、大量使用Flash，JavaScript腳本，或者把內容放在用戶必須登錄以后才能訪問的部分，都增大了搜索引擎抓取內容的難度。
2.海量數(shù)據(jù)存儲
一些大型網站單是一個網站就有百萬千萬個頁面，可以想象網上所有網站的頁面加起來是一個什么數(shù)據(jù)量。搜索引擎蜘蛛抓取頁面后，還必須有效存儲這些數(shù)據(jù)，數(shù)據(jù)結構必須合理，具備極高的擴展性，寫入及訪問速度要求也很高。
除了頁面數(shù)據(jù)，搜索引擎還需要存儲頁面之間的鏈接關系及大量歷史數(shù)據(jù)，這樣的數(shù)據(jù)量是用戶無法想象的，據(jù)說Google有幾十個數(shù)據(jù)中心，上百萬臺服務器，這樣大規(guī)模的數(shù)據(jù)存儲和訪問必然存在很多技術挑戰(zhàn) 。
我們經常在搜索結果中看到，排名會沒有明顯原因地上下波動，甚至可能刷新一下頁面，就看到不同的排名，有的時候網站數(shù)據(jù)也可能丟失。這些都可能與大規(guī)模數(shù)據(jù)存儲的技術難題有關。
3.索引處理快速有效，具可擴展性
搜索引擎將頁面數(shù)據(jù)抓取和存儲后，還要進行索引處理，包括鏈接關系的計算、正向索引、倒排索引等。由于數(shù)據(jù)庫中頁面數(shù)量大，進行PR之類的迭代計算也是耗時費力的要想及時提供相關又及時的搜索結果，僅僅抓取沒有用，還必須進行大量索引計算。由于隨時都有新數(shù)據(jù)、新頁面加入，因此索引處理也要具備很好的擴展性。
4.查詢處理快速準確
查詢是普通用戶唯一能看到的搜索引擎工作步驟。用戶在搜索框輸入關鍵詞，單擊“搜索”按鈕后，通常不到一秒鐘就會看到搜索結果。表面最簡單的過程，實際上涉及非常復雜的后臺處理。在最后的查詢階段，最重要的難題是怎樣在不到一秒鐘的時間內，快速從幾十萬、幾百萬，甚至幾千萬包含搜索詞的頁面中，找到最合理、最相關的1000個頁面并且按照相關性、權威性排列。
5.判斷用戶意圖及人工智能
應該說前4個挑戰(zhàn)現(xiàn)在的搜索引擎都已經能夠比較好地解決，但判斷用戶意圖還處在初級階段，不同用戶搜索相同的關鍵詞，很可能是在尋找不同的東西。比如搜索“蘋果”，用戶到底是想了解蘋果這個水果，還是蘋果電腦?還是電影《蘋果》的信息?沒有上下文，沒有對用戶個人搜索習慣的了解，就完全無從判斷。
搜索引擎目前正在致力于基于用戶搜索習慣及歷史數(shù)據(jù)的了解上，判斷搜索意圖，返回更相關的結果。蕪湖網站建設今后搜索引擎是否能達到人工智能水平，真正了解用戶搜索詞的意義和目的，讓我們拭目以待。

新聞標題：搜索引擎面對的挑戰(zhàn)有哪些？
文章路徑：http://chinadenli.net/news45/147245.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供域名注冊、品牌網站設計、品牌網站制作、外貿網站建設、自適應網站、標簽優(yōu)化

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)