倒排索引是搜索引擎的核心结构,通过将“文档→词项”反转为“词项→文档列表”实现快速定位;Java中可用Map实现,构建需清洗、分词、去停用词;查询支持AND交集运算;内存索引适合教学与轻量应用。

倒排索引是搜索引擎的核心结构
简易搜索引擎的关键不在于全文扫描,而在于快速定位词项对应文档。倒排索引(Inverted Index)把“文档→词项”的正向关系反转为“词项→文档列表”,查“java”时直接拿到包含它的所有文档ID,时间复杂度从O(N)降到O(1)平均查找(哈希)或O(log M)(有序列表二分)。Java中可用Map
构建索引需分步处理文本
原始文档不能直接塞进索引,要经过清洗和切分:
- 统一转小写,消除大小写干扰
- 用正则[^a-z0-9\\s]过滤标点和特殊字符
- 按空白分割,再剔除停用词(如"the", "is", "a")——可存为HashSet加速判断
- 对每个有效词项,将当前文档ID加入其对应List(若首次出现,先初始化空List)
示例:文档"Java is great. Java rocks!" → 处理得词项["java", "great", "rocks"],索引中"java"对应[0, 0](若该文档ID为0),注意同一文档内重复词项可去重或保留频次,简易版建议去重保唯一性。
查询支持AND逻辑与结果合并
用户输入多个词(如"java search"),需返回同时包含两者的文档。利用倒排索引的List,做交集运算:
立即学习“Java免费学习笔记(深入)”;
- 分别获取"java"和"search"对应的文档ID列表
- 用两个指针遍历(因List已按文档ID自然有序插入,可保持有序),类似归并排序中的合并逻辑
- 只保留共同出现的ID,避免生成大中间集合(不用retainAll()这种全量遍历)
若后续扩展OR、NOT,可在交集基础上叠加并集或差集操作,但AND已覆盖多数基础检索场景。
内存索引适合学习与轻量应用
本模型完全基于HashMap + ArrayList,无外部依赖,启动快、调试直观,适合教学或嵌入小型工具。缺点是重启丢失、不支持增量更新、无法处理超大语料。真实系统会引入Lucene的FST压缩、磁盘映射、段合并等机制,但理解这个纯Java版本,就抓住了索引设计的本质——用空间换时间,用结构换效率。










