别手写倒排索引，用Lucene.NET：面对10GB级文档，暴力字符串扫描性能差、内存溢出、不支持分词/模糊匹配/增量更新；Lucene.NET封装完整检索能力，但需注意Analyzer统一、中文配置、线程安全及语义适配。
直接上结论：别手写倒排索引，用 Lucene.NET
面对 10GB 医疗档案或金融年报这类规模的文档集合，自己循环 File.ReadAllLines + string.Contains 不仅慢（1 分钟起），还会因内存暴涨触发 OutOfMemoryException。真正可行的路径只有一条：引入成熟全文检索引擎——Lucene.NET，它把分词、倒排索引、布尔查询、结果高亮等全封装好了，C# 调用几行代码就能跑起来。
为什么不能用 System.IO + String 暴力扫？
常见错误现象：File.ReadAllText("hugefile.txt") 在 5GB 文件上直接卡死或崩溃；foreach (var line in File.ReadLines(...)) 配合 line.IndexOf(keyword) 查 100 万行要 40 秒以上。
- 逐行扫描是 O(N×M) 复杂度，N 是总行数，M 是平均行长，无缓存、无跳转
-
ReadAllText会把整个文件加载进托管堆，.NET GC 对大对象（>85KB）走 LOH，回收慢且易碎片化 - 不支持词干提取（如 “running” → “run”）、同义词扩展、模糊匹配（
fuzzy拼错也能命中） - 无法增量更新：文件改了，你得重跑全部索引，没
FileSystemWatcher+ 增量 commit 就等于裸奔
Lucene.NET 索引构建三步实操
不是“装完包就能搜”，关键在索引结构设计和线程安全写入。
- 安装必须两个包：
Lucene.Net+Lucene.Net.Analysis.Common（缺后者会导致中文分词失败） - 索引目录必须是空文件夹，
DirectoryInfo传进去前先Directory.Delete(path, true)清旧索引 - 用
StandardAnalyzer（支持中英文）或ChineseAnalyzer（需额外 NuGet），别用KeywordAnalyzer——它不分词，搜“上海浦东”只能匹配完整字符串，搜“浦东”就找不到 - 多线程写索引时，
IndexWriter必须单例 +lock或用ConcurrentQueue批量提交，否则抛LockObtainFailedException
示例片段（简化版）：
本文档主要讲述的是Lucene 索引数据库；Lucene，作为一种全文搜索的辅助工具，为我们进行条件搜索，无论是像Google,Baidu之类的搜索引擎，还是论坛中的搜索功能，还 是其它C/S架构的搜索，都带来了极大的便利和比较高的效率。本文主要是利用Lucene对MS Sql Server 2000进行建立索引，然后进行全文索引。至于数据库的内容，可以是网页的内容，还是其它的。本文中数据库的内容是图书馆管理系统中的某个作者表 －Authors表。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友可以过来看
var analyzer = new StandardAnalyzer(LuceneVersion.LUCENE_48);
var indexPath = @"D:\lucene-index";
var indexDir = FSDirectory.Open(indexPath);
using var writer = new IndexWriter(indexDir, new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer));
foreach (var file in Directory.GetFiles(@"D:\docs", "*.txt")) {
var doc = new Document();
doc.Add(new TextField("content", File.ReadAllText(file), Field.Store.NO));
doc.Add(new StringField("path", file, Field.Store.YES));
writer.AddDocument(doc); // 这里要加锁或串行
}
writer.Commit();搜索时最容易忽略的三个坑
建完索引≠能搜准。很多开发者卡在结果为空、性能不升反降、中文搜不到。
-
QueryParser构造时必须用和索引时**同一个 analyzer**，否则分词规则不一致，比如索引用StandardAnalyzer，搜索却用WhitespaceAnalyzer，关键词根本对不上 - 搜中文务必加
QueryParser.SetDefaultOperator(QueryParser.Operator.AND)，否则默认 OR 逻辑，输“肺炎 治疗”会返回含任一词的文档，噪音极大 - 不要用
TopDocs hits = searcher.Search(query, 1000)直接取 1000 条——内存爆掉。改用searcher.Search(query, collector)配合TopScoreDocCollector控制最大数量，或分页用searcher.SearchAfter(lastHit, query, pageSize)
高亮显示也要注意：SimpleHTMLFormatter 默认加 标签，但若前端渲染用的是 Markdown，就得自定义 formatter 输出 **text**。
真正的难点不在“怎么建索引”，而在“怎么让索引适配你的业务语义”：病历里的“BP”要映射为“血压”，年报中的“FY2025”得归一成“2025财年”。这些规则没法靠 Lucene 自动猜出来，得你写 Analyzer 插件或预处理管道——这部分工作量，往往比搭起整个索引框架还重。
