Google 搜尋引擎在處理數以千億計的網頁時，確實面臨極大的儲存與檢索壓力。要達成「既能壓縮省空間，又能快速搜尋」的目標，Google 並非使用單一技術，而是結合了倒排索引（Inverted Index）與多種編碼壓縮演算法。
Google 搜索引擎在處理網頁資料時，會先透過壓縮與索引技術降低儲存空間與加快檢索速度，然後利用倒排索引結構快速定位關鍵字所在的網頁。這樣的設計讓搜尋能在龐大的資料庫中於毫秒級完成。🔑 Google 搜索引擎的壓縮與索引流程
- 網頁壓縮 Google 在抓取網頁後，會將 HTML、文字內容與部分結構進行壓縮。常用技術包括：
- 字典編碼 (Dictionary Encoding)：將常見詞彙以短代碼表示，減少重複字串。
- 差異壓縮 (Delta Encoding)：只儲存相似內容的差異部分。
- 布隆過濾器 (Bloom Filter)：用於快速判斷某字是否存在於索引中。
- 倒排索引 Google 建立一個「詞 → 文件清單」的結構。
例如：
"AI" → [Doc1, Doc5, Doc9]
"Secure Boot" → [Doc2, Doc7]
- 這樣搜尋「AI」時，只需查表即可快速定位相關網頁。
⚡ 關鍵字搜尋的加速方法
- 分詞與標準化 搜索引擎會先將查詢字串分詞，並轉換為標準形式（如大小寫統一、去除標點）。
- 跳表與壓縮索引 為了避免逐一掃描，Google 在索引中建立「跳表」或「壓縮段」，能快速跳到目標區段。
- PageRank 與排序 找到所有包含關鍵字的網頁後，Google 會根據 PageRank、內容相關性、使用者行為等因素排序，將最有價值的結果放在前面。
📊 技術比較表
- 技術 用途 優點
- 字典編碼 壓縮常見詞彙 減少儲存空間
- 差異壓縮 儲存相似內容差異 提高效率
- 倒排索引 關鍵字快速定位 毫秒級檢索
- 跳表索引 快速跳過無關段落 加速搜尋
- PageRank 排序結果 提升搜尋品質
以下是 Google 處理網頁資料的兩個核心技術流程：
一、 網頁資料的「打包」：壓縮技術
當 Googlebot 爬取網頁後，會將其轉換成結構化數據，主要使用以下方式壓縮：
1. 倒排索引 (Inverted Index) 的建立
這是搜尋引擎的心臟。它不按「網頁」存「單字」，而是按「單字」存「網頁 ID」。
- 原始資料：網頁 A 有「紫微」、網頁 B 有「紫微」。
- 倒排索引：關鍵字「紫微」 $\rightarrow$ [網頁 A, 網頁 B, ...]。
2. 差值編碼 (Delta Encoding)
在索引中，網頁 ID 通常是很長的數字（如 100250, 100255, 100260）。
- Google 只記錄差值 (Delta)：[100250, 5, 5]。
- 數字變小了，就能用更少的位元（Bit）來儲存，這就是利用了類似霍夫曼編碼或 VByte 編碼的思想。
3. Brotli 與 Zstandard (通用壓縮)
對於網頁內容本身（HTML/CSS），Google 開發並廣泛使用 Brotli 演算法。它內建了一個針對網頁常用字詞（如 <div>, https://）的靜態字典，壓縮率比傳統的 Gzip 高出 20% 以上。
二、 如何在壓縮資料中「快速找尋」關鍵字？
如果每次搜尋都要解壓縮整個硬碟，那速度會慢到無法接受。Google 採用了以下「不完全解壓縮」的檢索方案：
1. 區塊層級壓縮 (Block-level Compression)
Google 將索引分成許多小區塊（Chunks）。
- 每個區塊都有一個 Skip List (跳表)。
- 搜尋時，系統先看區塊標頭的摘要，如果關鍵字範圍不在這個區塊，就直接跳過，完全不需要解壓縮內容。
2. 點陣圖索引 (Bitmap Index) 與位元運算
對於極高頻的字詞，Google 可能使用點陣圖。
- 每個位元代表一個網頁，1 表示有該關鍵字，0 表示沒有。
- 搜尋「紫微」且「命盤」時，CPU 直接進行 AND 位元運算，速度極快，且資料本身就是壓縮狀態。
3. 布隆過濾器 (Bloom Filter)
這是一種空間效率極高的機率型資料結構。
- 作用：在進入資料庫搜尋前，先問布隆過濾器：「這個關鍵字在不在？」
- 如果它說「不在」，那 100% 不在，直接省去硬碟讀取時間。
三、 現代化的加速：硬體與分散式
除了演算法，Google 還利用了硬體優勢：
- SIMD 指令集：利用 CPU 的並行運算，一次處理多組壓縮後的差值數據。
- 分散式架構 (MapReduce/Bigtable)：將查詢請求分發到數千台伺服器，每台機器只負責搜尋一小部分壓縮後的索引，最後再彙整結果。
⚠️ 重要提醒
商業機密限制：上述分析基於公開論文、技術部落格與開源實踐推導，非Google公司官方架構說明。
總結
Google 並非「先解壓縮再搜尋」，而是「透過索引結構跳過不相關的壓縮數據」，並利用位元層級的數學運算直接在壓縮/半壓縮狀態下完成過濾。
這就像在圖書館找書，不是把每本書都翻開看（解壓縮），而是先看索引卡（倒排索引），鎖定某排書架後，再根據書標（區塊標頭）精準抓取。
