本文探讨了在spring data elasticsearch中，如何根据搜索结果的最高得分（maxscore）的百分比来动态过滤文档。由于elasticsearch原生查询难以直接实现这种基于动态阈值的过滤，文章提出并详细阐述了一种实用的客户端分页与过滤策略，通过逐步获取搜索结果并计算阈值，高效地筛选出高相关性文档，并提供了具体的实现思路和注意事项。
在Elasticsearch的搜索实践中，我们经常会遇到这样的场景：查询返回了大量的文档，但其中许多文档的相关性得分（score）极低，例如，最高得分可能为5，而许多文档的得分却低至0.0001。这些得分极低的文档往往不具备实际价值，我们希望能够根据一个动态的、相对于最高得分的百分比阈值来过滤结果，例如，只保留得分在最高得分80%以上的文档。本文将深入探讨如何在Spring Data Elasticsearch中实现这一需求。
理解Elasticsearch的得分与过滤挑战
Elasticsearch通过相关性算法（如BM25）为每个匹配的文档计算一个得分，得分越高表示文档与查询越相关。然而，直接在Elasticsearch查询层面实现“过滤掉得分低于最高得分X%的文档”这一逻辑是具有挑战性的。主要原因在于：
- 动态阈值： 最高得分是在查询执行后才能确定的，而不是一个固定的值。Elasticsearch的查询DSL（Domain Specific Language）主要用于在查询执行前定义匹配规则和过滤条件。
- 查询阶段： 得分计算通常发生在查询的“匹配”阶段，而过滤（如post_filter或bool查询中的filter子句）通常在匹配之后或与匹配并行执行，但它们需要一个预先确定的条件。
- 脚本复杂性： 理论上可以通过复杂的script_score或script查询来实现，但这通常会带来显著的性能开销，并且脚本逻辑的维护也更为复杂。
因此，对于这种动态的、基于结果集最高得分的过滤需求，更推荐采用客户端（应用层）的策略。
客户端分页与过滤策略
一种高效且实用的方法是利用Spring Data Elasticsearch提供的分页功能，结合客户端逻辑进行逐步过滤。核心思想是：先获取少量结果以确定最高得分，然后根据该得分计算出过滤阈值，再逐步获取并过滤后续结果。
1. 确定初始最高得分与阈值
首先，执行一个带分页的搜索请求，获取第一页结果。Spring Data Elasticsearch的SearchHits
例如，如果第一页的maxScore是5.0，而我们希望保留80%以上的文档，那么阈值就是 5.0 * 0.8 = 4.0。
2. 逐步获取与过滤结果
在确定阈值之后，我们就可以开始遍历当前页的文档，将得分高于或等于阈值的文档添加到最终结果列表中。如果当前页的文档全部满足条件，或者我们还没有达到预期的结果数量，并且Elasticsearch还有更多结果（searchHits.hasMore()），那么就继续请求下一页。在后续页的遍历中，我们只需根据之前计算的阈值进行过滤，直到遇到第一个得分低于阈值的文档，或者所有满足条件的文档都被获取，或者没有更多结果为止。
3. 实现示例
下面是一个使用Spring Data Elasticsearch实现此策略的示例代码：
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.data.elasticsearch.core.ElasticsearchOperations;
import org.springframework.data.elasticsearch.core.SearchHit;
import org.springframework.data.elasticsearch.core.SearchHits;
import org.springframework.data.elasticsearch.core.query.Criteria;
import org.springframework.data.elasticsearch.core.query.CriteriaQuery;
import org.springframework.stereotype.Service;
import java.util.ArrayList;
import java.util.List;
import java.util.Objects;
@Service
public class DocumentSearchService {
private final ElasticsearchOperations elasticsearchOperations;
public DocumentSearchService(ElasticsearchOperations elasticsearchOperations) {
this.elasticsearchOperations = elasticsearchOperations;
}
/**
* 根据最高得分的百分比过滤Elasticsearch文档。
*
* @param queryText 查询字符串
* @param scorePercentageThreshold 得分百分比阈值 (例如 0.8 代表 80%)
* @param maxResults 期望返回的最大结果数
* @param 文档类型
* @return 过滤后的文档列表
*/
public List searchAndFilterByMaxScorePercentage(
String queryText, double scorePercentageThreshold, int maxResults, Class entityClass) {
List filteredDocuments = new ArrayList<>();
int pageSize = Math.min(maxResults, 20); // 初始页面大小，可根据实际情况调整
int pageNumber = 0;
double maxScore = -1.0;
double scoreThreshold = -1.0;
boolean stopFetching = false;
while (!stopFetching && filteredDocuments.size() < maxResults) {
Pageable pageable = PageRequest.of(pageNumber, pageSize);
CriteriaQuery query = new CriteriaQuery(new Criteria("content").contains(queryText), pageable); // 示例查询
SearchHits searchHits = elasticsearchOperations.search(query, entityClass);
if (searchHits.getTotalHits() == 0) {
break; // 没有结果
}
if (maxScore == -1.0) { // 首次获取，确定 maxScore 和阈值
maxScore = searchHits.getMaxScore();
if (maxScore <= 0) {
// 如果maxScore为0或负数，意味着所有文档得分都非常低，
// 此时可以根据业务逻辑决定是返回所有匹配文档，还是返回空列表，
// 或者设置一个非常小的正阈值。这里我们直接停止。
System.out.println("Max score is zero or negative, stopping filtering.");
break;
}
scoreThreshold = maxScore * scorePercentageThreshold;
// 确保阈值不会过低导致不必要的过滤，或过高导致无结果
if (scoreThreshold < 0.0001 && maxScore > 0) { // 避免因浮点数精度导致阈值过低
scoreThreshold = 0.0001;
}
}
for (SearchHit hit : searchHits) {
if (hit.getScore() >= scoreThreshold) {
filteredDocuments.add(hit.getContent());
if (filteredDocuments.size() >= maxResults) {
stopFetching = true; // 达到最大结果数
break;
}
} else {
// 遇到第一个得分低于阈值的文档，停止继续获取
stopFetching = true;
break;
}
}
if (searchHits.hasMore() && !stopFetching) {
pageNumber++;
} else {
stopFetching = true; // 没有更多页或已决定停止
}
}
return filteredDocuments;
}
} 使用示例：
// 假设 MyDocument 是你的 Elasticsearch 实体类
// @Document(indexName = "my_documents")
// public class MyDocument { ... }
@Autowired
private DocumentSearchService documentSearchService;
public List getTopRelevantDocuments(String query) {
// 获取得分在最高得分80%以上，且最多100个结果的文档
return documentSearchService.searchAndFilterByMaxScorePercentage(query, 0.8, 100, MyDocument.class);
} 注意事项与优化
-
页面大小（pageSize）选择：
- 初始页面大小的选择很重要。如果设置过小，可能需要多次往返Elasticsearch，增加延迟。如果设置过大，可能会获取大量不必要的文档。
- 一个折衷的方案是根据预期返回的最大结果数或经验值来设置，例如20-50。
-
性能考量：
- 这种方法涉及多次Elasticsearch请求，相比单次大请求可能带来更高的网络延迟。然而，它避免了在客户端处理大量低相关性数据，也避免了Elasticsearch服务器端复杂脚本的性能开销。
- 如果需要处理的文档数量非常庞大，并且对性能有极高的要求，可能需要重新评估。
-
maxScore为零或负数的情况：
- 在某些极端情况下，如果所有匹配文档的得分都为零或负数（尽管不常见），maxScore可能为0。此时，根据业务需求决定如何处理，例如，可以返回所有匹配文档，或者直接返回空列表。示例代码中加入了相应的处理逻辑。
-
阈值精度：
- 浮点数计算可能存在精度问题。在比较得分时，可以考虑使用一个小的容差值，或者确保阈值不会因为精度问题而变得过低。
-
查询类型：
- 示例代码使用了简单的CriteriaQuery，实际应用中可以根据需要使用更复杂的NativeSearchQuery来构建查询。
-
替代方案（高级）：
- 如果绝对需要在Elasticsearch服务器端完成此过滤，可以考虑使用script_score查询结合painless脚本。脚本可以在查询执行时计算每个文档的得分，并与一个动态值进行比较。但这通常需要更深入的Elasticsearch知识，并且对性能有一定影响，因为脚本会在每个文档上执行。对于大多数场景，客户端分页过滤是更简单和高效的选择。
总结
在Spring Data Elasticsearch中，根据最高得分的百分比动态过滤搜索结果，虽然无法通过简单的原生查询直接实现，但通过结合客户端分页与过滤策略，可以高效且灵活地达到目的。这种方法通过逐步获取数据、计算动态阈值并在应用层进行筛选，平衡了性能与实现的复杂性，为处理大量相关性不同的搜索结果提供了一个实用的解决方案。在实际应用中，需要根据具体业务场景和性能要求，合理选择页面大小并处理各种边界情况。
