AI 與資料科學 / ENGINEERING NOTES
Embedding 向量搜尋與全文檢索:倒排索引、N-Gram 與 PostgreSQL 混合檢索
比較 Embedding 向量搜尋與全文檢索的原理,包含倒排索引、字典索引與 N-Gram 索引,並以 PostgreSQL 說明混合檢索。
Embedding vs Full-text Search:AI 搜索的兩種武器
前言
想像你在搜尋引擎上輸入「Python 程式設計」:
傳統全文檢索(Full-text Search):
- 精確字詞匹配:只找包含 "Python" 和 "程式設計" 這兩個詞的內容
- 結果範例:Python 官方文檔、程式設計入門教程、Python 程式碼範例
- 特點:精確但死板,只能找到包含這些字詞的內容
AI 嵌入搜索(Embedding Search):
- 語義理解:理解 "Python 程式設計" 的真正意思
- 結果範例:不僅包含 Python,還會推薦相關的程式語言如 JavaScript、資料結構、演算法入門、軟體開發最佳實踐
- 特點:智能且靈活,能理解概念關聯和用戶意圖
關鍵差異:
- Full-text Search = 找包含特定「字詞」的內容
- Embedding Search = 找「意義相似」或「相關」的內容
本文將深入探討這兩種搜索技術的原理、應用場景與實作方式!
兩種搜索技術的核心差異
Full-text Search:精確匹配
比喻: 像在圖書館用「書名」或「關鍵字」找書
特點:
- 找包含特定字詞的內容
- 精確匹配,沒有模糊空間
- 適合:精確查詢、過濾條件
例子:
查詢:"machine learning"
結果:只返回包含 "machine" 和 "learning" 的文檔
Embedding Search:語義理解
比喻: 像用「內容的感覺」找書
特點:
- 理解查詢的「意涵」,不是字面意思
- 可以找到「意義相似」的內容
- 適合:智能推薦、自然語言查詢
例子:
查詢:"機器學習"
結果:可能返回包含 "AI"、"深度學習"、"神經網路" 的文檔
兩種技術的加速引擎
Full-text Search 的加速器:GIN Index
什麼是 GIN Index?
比喻: 像一本超級詳細的「關鍵字索引表」
核心原理:
-- 傳統全文檢索(慢)
SELECT * FROM articles WHERE content ILIKE '%machine learning%';
-- 使用 GIN 索引(快)
CREATE INDEX idx_content_gin ON articles USING GIN (to_tsvector('english', content));
GIN 的工作流程
- 文檔處理: 將文檔分解成單詞
- 建立倒排索引:
"machine" → [文檔1, 文檔5, 文檔23]"learning" → [文檔3, 文檔5, 文檔12] - 查詢匹配: 找同時包含關鍵字的文檔交集
重要概念釐清:全文索引 vs 網路請求的同步處理
全文索引本身適合同步處理嗎?
首先,要釐清一個概念:全文索引是後端資料庫或搜尋引擎的內部運算,而同步/非同步則是處理網路請求的模式。它們是兩個不同層次的東西。
全文索引本身:適合同步處理。當一個請求到達後端的全文索引服務(例如 PostgreSQL),這個服務會專注地、一步步地執行一系列複雜的運算:分詞、同義詞處理、詞幹提取,然後在倒排索引中尋找結果。這整個過程是阻塞(Blocking)且CPU 密集型的。在一個單一的執行緒中,讓它專心執行完所有步驟,通常是最簡單也最有效率的做法。
網路請求:不適合同步處理,特別是在高併發場景下。傳統的同步(阻塞式)I/O 模式,會為每一個網路連線分配一個專用的執行緒。當這個執行緒在等待資料從網路傳輸時,它會被「阻塞住」,無法做其他任何事情。
「輸入即搜尋」為什麼會產生巨大的請求量?
這是一個數學問題。假設一個網站有 10 萬個活躍使用者,其中 10% 的使用者正在使用搜尋功能。如果這個功能支援「輸入即搜尋」,每當使用者輸入一個字,就會發送一個請求。
假設一個使用者在搜尋「電動車」這個詞,他輸入的順序是:
電 (發送第 1 個請求) → 動 (發送第 2 個請求) → 車 (發送第 3 個請求)
短短幾秒內,一個使用者就發出了 3 個請求。如果同時有 1 萬個使用者都在做類似的事情,那麼在很短的時間內,你的伺服器可能會收到數萬個甚至十萬個請求。這就是所謂的「請求量瞬間暴增」。
所以,關鍵不在於全文索引是否同步,而在於「處理網路連線」的模式。Netty 提供的非阻塞 I/O,能讓伺服器在等待 A 使用者的網路資料時,可以先去處理 B 使用者的請求。它用極少的執行緒,就能應付大量且頻繁的網路連線,確保伺服器不會因為 I/O 阻塞而癱瘓。
PostgreSQL 全文索引 vs GIN 倒排索引的差異
這兩者並不是互斥的,而是上下層的關係:
PostgreSQL 全文索引:完整的「功能套件」
- 分詞器(Parser):負責將句子拆成單詞
- 詞典(Dictionary):負責處理同義詞、詞幹提取等
- 查詢語言:to_tsquery 和 to_tsvector 等函式
- 負責所有**「文字處理」**的邏輯
GIN(Generalized Inverted Index):優化的「索引結構」
- 這是一種為全文索引優化過的資料結構
- 專門用來高效地儲存和查詢分詞後的結果
它們的關係就像:
- PostgreSQL 全文索引 = 圖書館管理員
- GIN 索引 = 圖書館的書架和索引卡片系統
GIN 的作用是:
- 當**「圖書館管理員」**(PostgreSQL 全文索引功能)處理完一本新書(to_tsvector 處理文字)之後
- 它會將書中的所有關鍵字及其位置,整理成一個清單
- 「書架和索引卡片系統」(GIN 索引)會將這些清單以倒排索引的形式,快速且有效地儲存起來
- 當讀者來詢問「一本關於汽車的書」時,管理員會直接去翻閱索引卡片,找到「汽車」這個詞,並立刻知道它在哪些書架上,而不需要一本一本去找
所以,GIN 倒排索引本身沒有同義詞處理的能力,這個功能屬於PostgreSQL 全文索引。GIN 只是後者用來加速查詢的底層工具。
實際專案實現:Maya V2 專案的 PostgreSQL 驅動全文檢索
基於 Maya V2 專案(左下角 AI 人像切換到第二版)的實際資訊,讓我們看看這個專案的全文檢索架構實現:
專案特點:
- 資料庫級別:全文檢索核心邏輯發生在 PostgreSQL 內部
- 應用級別:Python 程式碼只負責發送 SQL 查詢,不處理文字處理邏輯
- 前端級別:使用 debounce 機制限制請求頻率,避免過度請求
架構比較:
| 特性 | 這個專案(PostgreSQL 驅動) | Netty + 獨立搜尋引擎 | |-----|----------------------------|---------------------| | 技術棧 | PostgreSQL 資料庫 | Netty + Elasticsearch/Solr | | 全文檢索核心 | 發生在資料庫內部,使用 pg_trgm + GIN | 發生在獨立搜尋引擎中 | | 應用程式角色 | 只發送 SQL 查詢 | 負責請求轉發給搜尋引擎 | | 高併發處理 | 依賴 PostgreSQL 連線池 + 前端 debounce | Netty 非阻塞 I/O | | 適用場景 | 中小型應用,架構簡單 | 大型應用,搜尋功能複雜 |
GIN 索引為何高效?
GIN 索引的高效性來自於其倒排索引的本質:
-
分治策略:將複雜字串查詢分解為簡單的 N-gram 查找
- 查詢「程式設計」→ 拆解為「程式」、「式設」、「設計」等
- 每個小單位都有獨立的索引
-
空間效率:只儲存字元組與位置映射,不需儲存完整字串
- 索引體積小,記憶體操作更快
-
查詢速度:從「全表掃描」轉化為「索引快速查找」
- 如同圖書館的索引卡片系統,直接找到目標位置
Maya V2 的混合檢索架構:Embedding + Trigram
Maya V2 專案實現了一個非常聰明的**混合檢索(Hybrid Search)**架構:
雙重檢索策略:
-
語義檢索(Semantic Search):
# 計算查詢向量 query_vec = self._compute_query_embedding_safe(query.query) # 向量相似度搜索 db_semantic = self._search_db_by_embedding(query_vec, k=8, threshold=0.0) -
字元檢索(Trigram-based):
# 全文檢索 db_trgm = self._search_db_by_trigram(query.query or "", k=12, min_sim=0.1) # 加權混合分數 sim_score = 0.6 * text_score + 0.4 * emb_score
為何需要混合檢索?
| 檢索方式 | 優點 | 缺點 | |---------|-----|-----| | 語義檢索 | 理解抽象語義,找到相關內容 | 對精確關鍵字表現較弱 | | 字元檢索 | 精確匹配、專有名詞處理佳 | 無法理解語義關聯 | | 混合檢索 | 結合兩者優勢,既精準又全面 | 需要權衡兩種分數 |
權重設計:
- 字元匹配權重 0.6(text_score)
- 語義匹配權重 0.4(emb_score)
- 確保精準度與智慧性的最佳平衡
Embedding Search 的加速器:IVFFlat Index
什麼是 IVFFlat Index?
比喻: 像圖書館的智能分區系統
簡單來說就是:
- 先把相似的「東西」分門別類放好
- 搜索時不用翻遍所有區域
- 直接去最相關的區域精確查找
IVFFlat 的簡單工作流程
想像你有一個大型圖書館,想快速找到相關的書籍:
第一步:整理書架(建立聚類)
- 把所有書籍按照主題分成不同的「書架區」
- 比如:科技區、文學區、歷史區等
- 每個區塊放相關的書籍
第二步:貼上標籤(記錄中心點)
- 每個書架區放一個「主題卡片」,寫著這個區的主要內容
- 比如:科技區的卡片上寫「電腦、程式、科學」
第三步:快速查找(智能搜索)
- 當有人找「人工智慧」相關書籍時:
- 先看看哪個區的主題卡片最接近「人工智慧」
- 直接去那個區找,不用跑遍整個圖書館
- 在那個區內仔細找最相關的書籍
實際應用比較
傳統全文檢索(Full-text Search):
# 精確字詞匹配
query = "machine learning"
results = database.search_text(query)
# 結果:只找包含 "machine" 和 "learning" 的內容
AI向量搜索(Embedding Search):
# 語義理解搜索
query_vector = embed_text("機器學習的概念") # 轉換成向量
results = database.search_vector(query_vector)
# 結果:找到相關的AI、資料科學、演算法等內容
⚡ IVFFlat 的優勢:
- 速度快:不用檢查所有資料,只檢查相關群組
- 準確度高:在小範圍內進行精確比較
- 擴充性好:資料量增加時效能仍保持良好
⚖️ 技術對比:選擇哪種搜索更適合?
核心差異比較
| 特性 | Full-text Search | Embedding Search | |-----|------------------|------------------| | 查詢類型 | 精確關鍵字 | 自然語言 | | 匹配方式 | 字詞匹配 | 語義相似度 | | 查詢例子 | "machine learning" | "AI 學習的基礎概念" | | 返回結果 | 包含關鍵字的文檔 | 意義相關的文檔 | | 處理語言 | 依賴語言規則 | 理解語境和意涵 | | 擴展性 | 處理大量文檔 | 需要大量計算資源 |
什麼情況用哪種?
用 Full-text Search 當:
- ✅ 需要精確匹配特定術語
- ✅ 查詢是結構化的關鍵字
- ✅ 關注特定的命名實體
- ✅ 需要布林邏輯查詢(AND/OR/NOT)
用 Embedding Search 當:
- ✅ 查詢是自然語言
- ✅ 需要理解語義和意涵
- ✅ 想要智能推薦和發現
- ✅ 處理多語言或模糊查詢
雙雄合體:現代搜索系統的最佳實踐
為什麼需要結合?
現代應用通常需要同時處理:
- 精確查詢: 「找包含 'Python' 的文檔」
- 智能理解: 「找類似 '機器學習入門' 的內容」
結合架構
-- 建立同時支持兩種搜索的資料表
CREATE TABLE articles (
id BIGSERIAL PRIMARY KEY,
title TEXT,
content TEXT,
embedding vector(768), -- 向量表示
-- 全文檢索欄位
search_vector tsvector GENERATED ALWAYS AS (
to_tsvector('english', title || ' ' || content)
) STORED
);
-- 建立雙索引
CREATE INDEX idx_vector ON articles USING ivfflat (embedding vector_cosine_ops);
CREATE INDEX idx_text ON articles USING GIN (search_vector);
混合搜索流程
def smart_search(query_text, k=10):
"""
先用全文檢索縮小範圍,再用向量搜索排序
"""
# 步驟1:全文檢索獲得候選集
text_matches = search_by_text(query_text, limit=100)
# 步驟2:在候選集中進行向量相似度計算
query_vector = embed_text(query_text)
results = []
for doc in text_matches:
# 結合文本匹配分數和向量相似度
text_score = calculate_text_relevance(doc, query_text)
vector_score = cosine_similarity(query_vector, doc.embedding)
combined_score = 0.6 * vector_score + 0.4 * text_score
results.append((doc, combined_score))
# 返回最相關的結果
return sorted(results, key=lambda x: x[1], reverse=True)[:k]
1️⃣ AI 聊天機器人
- Full-text: 處理用戶的精確問題
- Embedding: 理解問題的語義意圖
- 結合效果: 提供又準確又智能的回答
2️⃣ 電商商品搜索
- Full-text: 匹配商品名稱和描述
- Embedding: 根據用戶偏好推薦相似商品
- 結合效果: 提升搜索精準度和用戶體驗
3️⃣ 內容管理系統
- Full-text: 快速過濾特定類型內容
- Embedding: 發現內容間的隱藏關聯
- 結合效果: 建立智能的內容發現機制
實戰部署指南
PostgreSQL 混合搜索設置
-- 1. 安裝擴展
CREATE EXTENSION IF NOT EXISTS vector;
CREATE EXTENSION IF NOT EXISTS pg_trgm;
-- 2. 建立混合搜索表
CREATE TABLE content (
id BIGSERIAL PRIMARY KEY,
title TEXT,
content TEXT,
embedding vector(768),
text_search tsvector GENERATED ALWAYS AS (
to_tsvector('english', title || ' ' || content)
) STORED
);
-- 3. 建立雙索引
CREATE INDEX idx_embedding ON content USING ivfflat (embedding vector_cosine_ops);
CREATE INDEX idx_text ON content USING GIN (text_search);
Python 實現示例
import psycopg2
from sentence_transformers import SentenceTransformer
class HybridSearch:
def __init__(self):
self.encoder = SentenceTransformer('all-MiniLM-L6-v2')
self.conn = psycopg2.connect("your_database_url")
def search(self, query, limit=10):
# 生成查詢向量
query_vector = self.encoder.encode(query)
with self.conn.cursor() as cur:
# 混合搜索查詢
cur.execute("""
SELECT id, title,
1 - (embedding <=> %s::vector) as vector_score,
ts_rank(text_search, to_tsquery('english', %s)) as text_score
FROM content
WHERE text_search @@ to_tsquery('english', %s)
ORDER BY (0.7 * vector_score + 0.3 * text_score) DESC
LIMIT %s
""", (query_vector.tolist(), query, query, limit))
return cur.fetchall()
總結:選擇適合你的搜索技術
Embedding vs Full-text Search 就像是選擇不同的思考方式:
Full-text Search
- 像傳統圖書館員:精確、可靠、快速
- 適合:需要精確結果的應用
- 優勢:簡單、穩定、高效
Embedding Search
- 像AI助手:智能、理解、創新
- 適合:需要智能推薦的應用
- 優勢:理解語義、發現關聯
最佳實踐
現代應用通常結合兩者:
- 用 Full-text 做初步過濾
- 用 Embedding 做智能排序
- 獲得又快又準的搜索體驗
架構設計重點
- 全文索引適合同步處理,專注執行CPU密集型運算
- 網路請求需要非同步處理,應對高併發場景
- GIN索引是PostgreSQL全文索引的加速引擎
- 混合檢索結合字元匹配與語義理解的最佳實踐
- Maya V2專案展示PostgreSQL驅動混合檢索的實際實現
現在你不僅知道如何選擇搜索技術,還能看到Maya V2專案的完整實作範例!
全文檢索索引原理:倒排索引、字典索引與 N-Gram 索引比較
為什麼需要索引?
想像一下:圖書館有幾百萬本書,如果要找「apple」,你總不能一本本翻吧? 這時候,索引就派上用場了。
全文檢索系統(像 Google、Elasticsearch、資料庫 FULLTEXT)就是靠索引來加速搜尋。
而它們背後的「技術骨幹」就是倒排索引(Inverted Index)。
倒排索引是什麼?
一般的文章存法是「正排索引」:
doc1 → "I like apple"
doc2 → "banana is yellow"
但搜尋時這樣不方便。所以換個方式,把「詞」對應到「文件」:
"apple" → [doc1]
"banana" → [doc2]
"like" → [doc1]
這種由詞 → 找文件的結構,就是倒排索引。 幾乎所有全文檢索技術,最後都會落到這種結構。
實現倒排索引的兩種方式
要實現倒排索引,有兩種常見的技術路徑:
- 字典索引(Lexicon Index):先分詞,再建立詞彙表
- N-Gram 索引(N-Gram Index):直接切分字元序列
本文將深入探討這兩種索引技術的原理、實現和應用場景。
字典索引(Lexicon Index)
核心概念
先把文章裡的「詞彙」抽出來,建立一張字典,然後記錄它們出現在哪些文件、哪個位置。 就像書後的索引表,告訴你「這個詞在哪幾頁」。
基本架構
"apple" → [doc1: 第3行, 第10行; doc2: 第5行]
"banana" → [doc2: 第7行; doc3: 第2行, 第8行]
關鍵元件:
- term:詞彙單元(單詞或詞組)
- doc:文檔ID
- pos:詞彙在文檔中的位置
建立流程
- 文本預處理:分詞、停用詞過濾、詞幹提取
- 詞彙收集:建立詞彙表,為每個詞彙分配唯一ID
- 倒排索引:為每個詞彙建立文檔列表
- 位置記錄:記錄詞彙在文檔中的精確位置
技術特點
優點:
- 查詢精確:支援精確匹配和短語查詢
- 記憶體效率:詞彙表通常比原始文本小很多
- 複雜查詢支援:布林查詢、鄰近查詢等
缺點:
- 分詞依賴:需要準確的分詞器(中文、日文很麻煩)
- 詞形變化敏感:拼錯字就找不到
- 複合詞困難:處理中文複合詞或英文複合名詞較難
N-Gram索引(N-Gram Index)
核心概念
與字典索引不同,N-Gram索引不依賴分詞器,而是直接把文字切成固定長度的字串片段。
就像拿一把小尺規,每次量 N 個字,然後往後滑動,再量下一段。
N-Gram類型
- Unigram (1-Gram):單個字元,如 "h", "e", "l", "l", "o"
- Bigram (2-Gram):兩個連續字元,如 "he", "el", "ll", "lo"
- Trigram (3-Gram):三個連續字元,如 "hel", "ell", "llo"
實例說明
英文例子:「HELLO」
1-Gram → H, E, L, L, O
2-Gram → HE, EL, LL, LO
3-Gram → HEL, ELL, LLO
中文例子:「計算機科學」用 2-Gram:
計算, 算機, 機科, 科學
與字典索引的對比
字典索引需要先知道「計算機科學」是什麼詞彙,才能建立索引。 N-Gram索引不管詞彙,直接切分,產生所有可能的組合。
字典索引處理:
"計算機科學" → [doc1] (需要分詞器)
N-Gram索引處理:
"計算" → [doc1]
"算機" → [doc1]
"機科" → [doc1]
"科學" → [doc1]
建立流程
- 文本標準化:轉換為小寫、去除標點符號
- N-Gram生成:分割成N個字元的序列
- 索引建立:為每個N-Gram記錄出現位置
- 重複合併:合併相同N-Gram的位置資訊
技術特點
優點:
- 語言無關:無需依賴分詞器,適用任何語言
- 容錯性強:能處理拼寫錯誤和詞形變化
- 模糊匹配:適合近似字符串匹配
缺點:
- 索引膨脹:切得太碎,索引很大
- 查詢效率:需要後處理消除假陽性
- 記憶體消耗:比字典索引需要更多存儲空間
為什麼需要N-Gram?
字典索引的缺點很明顯:需要精確的分詞。如果分詞出錯,整個索引就沒用了。
N-Gram索引的優勢在於:
- 不需要詞彙表:直接處理字元序列
- 天然的模糊匹配:即使拼寫錯誤也能找到相近結果
- 語言無關:不需要為不同語言開發不同的分詞器
技術比較
| 特性 | 字典索引 | N-Gram索引 | |------|----------|------------| | 語言依賴性 | 高(需要分詞) | 低(字元級) | | 查詢精確度 | 高 | 中等(有假陽性) | | 容錯能力 | 低 | 高 | | 索引大小 | 小 | 大(隨N增加) | | 建立複雜度 | 中等 | 低 | | 適合場景 | 精確查詢 | 模糊、容錯搜尋 |
應用場景
字典索引應用
- 搜索引擎:Google、Baidu等精確關鍵詞搜索
- 資料庫系統:SQL FULLTEXT索引
- 專業文件檢索:法律文件、學術論文的精確檢索
N-Gram索引應用
- 拼寫檢查:Microsoft Word拼寫糾正功能
- 基因序列匹配:生物資訊學中的DNA序列比對
- 模糊搜索:Elasticsearch中的fuzzy query
- OCR文本處理:掃描文檔的文本搜索
混合索引策略
很多現代系統不會只用一種:
混合檢索流程:
- 初步過濾:用 N-Gram 找候選(快速模糊過濾)
- 精準比對:用 字典索引 精確匹配
- 權重計算:結合兩種結果,獲得最佳平衡
這樣就能兼顧速度 + 精準度。
現代系統通常採用以下策略:
- 雙索引結構:同時維護字典索引和N-Gram索引
- 動態選擇:根據查詢類型選擇最適合索引
- 分層檢索:使用N-Gram初步過濾,字典索引精確匹配
效能優化
字典索引優化
- 詞幹提取:減少詞彙數量
- 停用詞過濾:去除無意義詞彙
- 詞彙壓縮:使用字典編碼減少存儲
N-Gram索引優化
- N值選擇:通常選擇2-4權衡準確性和大小
- 邊界處理:使用特殊標記處理詞彙邊界
- 索引壓縮:使用游程編碼等技術壓縮位置資訊
實戰架構模式:參考專案實現
參考個人作品集中的架構圖,本文所述的索引技術在實際專案中有以下應用模式:
1. PostgreSQL驅動的混合檢索(Maya V2)
在Maya V2專案中,實現了雙重檢索策略:
語義檢索(Embedding):
# 計算查詢向量
query_vec = self._compute_query_embedding_safe(query.query)
# 向量相似度搜索
db_semantic = self._search_db_by_embedding(query_vec, k=8, threshold=0.0)
字元檢索(Trigram-based):
# 全文檢索
db_trgm = self._search_db_by_trigram(query.query or "", k=12, min_sim=0.1)
# 加權混合分數
sim_score = 0.6 * text_score + 0.4 * emb_score
這個實現結合了:
- N-Gram索引:使用PostgreSQL的pg_trgm擴展進行Trigram搜索
- 向量索引:使用pgvector進行語義相似度計算
- 混合排序:權重平衡字元匹配(0.6)和語義匹配(0.4)
2. 資料庫索引架構
雙索引結構:
-- 建立雙索引
CREATE INDEX idx_embedding ON articles USING ivfflat (embedding vector_cosine_ops);
CREATE INDEX idx_text ON articles USING GIN (search_vector);
這正是本文所述的混合索引策略的實際實現。
3. 架構設計模式
從作品集架構圖可以看出,實現了以下設計模式:
分層架構模式
- 應用層:FastAPI處理API請求
- 服務層:核心業務邏輯和索引策略
- 資料層:PostgreSQL + Redis + 向量資料庫
- 基礎設施層:Docker容器化部署
異步處理模式
- Celery任務隊列:處理耗時的索引建立和檢索任務
- Redis緩存:加速熱點資料的存取
- 非同步API:提升系統響應性
混合檢索模式
- 多重索引並存:同時使用多種索引技術
- 動態權重調整:根據查詢類型調整檢索策略
- 結果融合:多種檢索結果的智慧融合
4. 實際應用價值
這些架構模式展示了:
- 技術整合能力:將字典索引、N-Gram索引、向量索引有機結合
- 效能優化實踐:通過索引策略提升系統效能
- 架構設計思維:分層設計、異步處理、混合檢索等現代化架構理念
- 解決方案創新:針對具體業務場景設計合適的技術方案
這些實際專案經驗證明了本文所述的索引技術不僅具有理論價值,更在實戰中發揮了重要作用。