推荐 all-MiniLM-L6-v2 或 gte-small：轻量、开源、中英文支持好、CPU 可运行；需统一用同一模型向量化查询与文档，批量处理文档、实时处理查询，避免仅向量化文档而忽略查询。
用文本嵌入模型做搜索排序优化，核心是把查询和文档都转成向量，再用余弦相似度打分重排。不依赖关键词匹配，能理解语义，效果提升明显，尤其对同义词、泛化表达、长尾查询更友好。
选一个轻量又靠谱的嵌入模型
推荐从 all-MiniLM-L6-v2 或 gte-small 入手——它们在 Hugging Face 上开源、单卡 CPU 就能跑、响应快、中文英文都支持好。别一上来就上 bge-large 或 text-embedding-3，参数大、推理慢、部署成本高，小项目反而拖累体验。
- 用 sentence-transformers 库加载最简单：
model = SentenceTransformer("all-MiniLM-L6-v2") - 首次运行会自动下载模型（约80MB），后续缓存本地，无需联网
- 中文效果不够时，可换
"jinaai/jina-embeddings-v2-base-zh"，专为中文优化，tokenize 更准
把查询和文档统一向量化
不能只给文档向量化而忽略查询——搜索排序本质是“查什么”和“有什么”的向量比对。关键点是：查询和文档必须用同一个模型、同一套预处理（比如是否截断、是否小写）。
- 文档向量化建议批量处理（
model.encode(doc_list, batch_size=32)），避免逐条调用拖慢索引构建 - 查询向量化必须实时，但只需 encode 一条，耗时通常
- 注意清理原始文本：去掉广告符、多余空行、HTML标签；但别过度清洗（如删标点可能影响语义）
用向量相似度替代关键词得分做重排序
不是取代原有搜索，而是“在初筛结果上再打一次分”。比如 Elasticsearch 返回 top 100，你用嵌入模型对这100个文档重新算与 query 的余弦相似度，按新分数倒序，再返回前10。
立即学习“Python免费学习笔记（深入）”；
- 用
scipy.spatial.distance.cosine或直接用torch.nn.functional.cosine_similarity都可以，后者在 GPU 上更快 - 别直接替换原始排序——保留原始 score 做加权融合更稳，例如：
final_score = 0.7 * embedding_sim + 0.3 * bm25_score - 上线前务必 A/B 测试：对比纯 BM25 和融合排序在点击率、停留时长等指标上的变化
加速线上服务的几个实操技巧
向量计算不难，但高频搜索下延迟和内存得抠细节。
- 文档向量存进内存（如 Python dict 或 faiss Index），避免每次磁盘读取；faiss 支持 IVF+PQ 加速亿级检索
- 查询向量不做归一化？错！必须提前 unit-normalize（
model.encode(..., normalize_embeddings=True)），否则余弦相似度要额外算模长 - 加一层缓存：对相同 query（或标准化后的 query）缓存其向量和 top 结果，命中率高时省掉90%以上 encode 开销
基本上就这些。不复杂但容易忽略细节——模型一致、向量归一、重排而非替换、缓存+索引加速，四点做到位，搜索相关性会有肉眼可见的提升。
