引言：API数据消费与处理的挑战
在现代应用开发中，与外部API交互是常见的需求。Spring框架的RestTemplate提供了一种便捷的方式来消费RESTful服务。然而，从外部API获取的数据往往是复杂的、嵌套的Java对象列表。在将这些数据展示给最终用户或提供给自己的API之前，我们通常需要对其进行一系列处理，例如过滤重复项、选择性地提取字段、重命名属性，甚至将数据转换成完全不同的结构。本教程将引导您完成这一过程，特别关注如何利用Java Stream API高效地实现这些数据操作。
初始API调用与数据模型
假设我们正在使用RestTemplate从一个天气API获取省份数据。初始设置包括一个RestTemplate调用和一个用于反序列化JSON响应的DTO（Data Transfer Object）结构。
1. RestTemplate 获取数据
首先，我们有一个静态方法用于通过RestTemplate调用外部API：
public static Provinces restTemplateProvince(RestTemplate restTemplate) {
String provinceCommunityURL = "https://www.el-tiempo.net/api/json/v2/provincias";
Provinces province = restTemplate.getForObject(provinceCommunityURL, Provinces.class);
return province;
}这个方法会返回一个Provinces对象，其中包含了从API获取的原始省份数据。
2. Provinces 和 ProvincesData DTOs
为了正确地将JSON响应映射到Java对象，我们定义了两个DTO类：Provinces和ProvincesData。
Provinces类：
import com.fasterxml.jackson.annotation.JsonIgnoreProperties;
import com.fasterxml.jackson.annotation.JsonProperty;
import java.util.List;
@JsonIgnoreProperties(ignoreUnknown = true)
public class Provinces {
@JsonProperty("provincias") // 注意：原始问题中是"provincial"，这里修正为更常见的"provincias"
private List provinces;
public Provinces() {}
public Provinces(List provinces) {
this.provinces = provinces;
}
@JsonProperty("provincias")
public List getProvinces() { // 修正方法名，遵循Java命名规范
return provinces;
}
@JsonProperty("Test") // 原始问题中此处为"Test"，可能为测试用途，实际应与JSON字段匹配或移除
public void setProvinces(List provinces) { // 修正方法名
this.provinces = provinces;
}
} ProvincesData类：
import com.fasterxml.jackson.annotation.JsonIgnoreProperties;
import com.fasterxml.jackson.annotation.JsonProperty;
@JsonIgnoreProperties(ignoreUnknown = true)
public class ProvincesData {
@JsonProperty("CODPROV")
private String codProv;
@JsonProperty("NOMBRE_PROVINCIA")
private String nomeProvincia;
@JsonProperty("CODAUTON")
private String codAuton;
@JsonProperty("COMUNIDAD_CIUDAD_AUTONOMA")
private String comunidadeCidadeAutonoma;
public ProvincesData() {}
public ProvincesData(String codProv, String nomeProvincia, String codAuton, String comunidadeCidadeAutonoma) {
this.codProv = codProv;
this.nomeProvincia = nomeProvincia;
this.codAuton = codAuton;
this.comunidadeCidadeAutonoma = comunidadeCidadeAutonoma;
}
@JsonProperty("CODPROV")
public String getCodProv() {
return codProv;
}
@JsonProperty("Test") // 原始问题中此处为"Test"，可能为测试用途，实际应与JSON字段匹配或移除
public void setCodProv(String codProv) {
this.codProv = codProv;
}
@JsonProperty("NOMBRE_PROVINCIA") // 补充JsonProperty注解以确保正确映射
public String getNomeProvincia() {
return nomeProvincia;
}
public void setNomeProvincia(String nomeProvincia) {
this.nomeProvincia = nomeProvincia;
}
@JsonProperty("CODAUTON") // 补充JsonProperty注解
public String getCodAuton() {
return codAuton;
}
public void setCodAuton(String codAuton) {
this.codAuton = codAuton;
}
@JsonProperty("COMUNIDAD_CIUDAD_AUTONOMA") // 补充JsonProperty注解
public String getComunidadeCidadeAutonoma() {
return comunidadeCidadeAutonoma;
}
public void setComunidadeCidadeAutonoma(String comunidadeCidadeAutonoma) {
this.comunidadeCidadeAutonoma = comunidadeCidadeAutonoma;
}
}注意：在上述DTO中，我修正了Provinces类中@JsonProperty的名称，以及方法命名以符合Java标准。ProvincesData中也补充了@JsonProperty注解，以确保字段的正确映射。原始问题中一些set方法上的@JsonProperty("Test")看起来是测试代码，在实际生产中应移除或修正。
数据过滤与转换的需求
原始问题提出，从API获取的数据是一个List
- 去重：根据codAuton字段去除重复的省份数据。
- 属性重命名与精简：构建一个只包含所需数据的新列表，并更改属性名称，以便在自己的API中以更友好的标题展示。
解决方案：结合Java Stream API进行数据处理
Java 8引入的Stream API为集合操作提供了强大且富有表现力的方式，非常适合进行数据过滤、转换和聚合。
1. 在数据获取层进行去重过滤
为了在数据返回之前就完成去重，我们可以在restTemplateProvince方法中直接应用Stream API。这里我们将根据codAuton字段进行去重。
import org.springframework.web.client.RestTemplate;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;
public class Templates { // 假设这个类名为Templates
public static Provinces restTemplateProvince(RestTemplate restTemplate) {
String provinceCommunityURL = "https://www.el-tiempo.net/api/json/v2/provincias";
Provinces province = restTemplate.getForObject(provinceCommunityURL, Provinces.class);
// 使用Stream API进行去重过滤
List includedCodAutons = new ArrayList<>(); // 用于跟踪已经包含的codAuton
List filteredProvinces = province.getProvinces()
.stream()
.filter(p -> {
// 如果includedCodAutons中不包含当前p.getCodAuton()，则添加并返回true（保留）
if (!includedCodAutons.contains(p.getCodAuton())) {
includedCodAutons.add(p.getCodAuton());
return true;
}
// 否则返回false（过滤掉）
return false;
})
.collect(Collectors.toList());
// 将过滤后的列表设置回Provinces对象
province.setProvinces(filteredProvinces);
return province;
}
} 在这个修改后的restTemplateProvince方法中：
- 我们首先像往常一样获取Provinces对象。
- 然后，通过province.getProvinces().stream()创建一个数据流。
- filter操作结合一个辅助includedCodAutons列表来判断codAuton是否已出现过。这种方法在处理少量数据时简洁易懂。
- collect(Collectors.toList())将过滤后的元素收集回一个新的List
。 - 最后，我们更新Provinces对象中的省份列表，并返回它。
2. 在业务逻辑层进行数据转换与重命名
尽管我们在数据获取层已经完成了去重，但如果您的API需要返回一个更精简、属性名更友好的列表，或者甚至是一个List
首先，定义一个新的DTO来表示我们希望在API中展示的精简数据结构：
// CustomProvinceView.java
public class CustomProvinceView {
private String autonomousCommunityCode; // 重命名codAuton
private String autonomousCommunityName; // 重命名comunidadeCidadeAutonoma
public CustomProvinceView(String autonomousCommunityCode, String autonomousCommunityName) {
this.autonomousCommunityCode = autonomousCommunityCode;
this.autonomousCommunityName = autonomousCommunityName;
}
// Getters
public String getAutonomousCommunityCode() {
return autonomousCommunityCode;
}
public String getAutonomousCommunityName() {
return autonomousCommunityName;
}
// Setters (可选，如果不需要修改，可以省略)
public void setAutonomousCommunityCode(String autonomousCommunityCode) {
this.autonomousCommunityCode = autonomousCommunityCode;
}
public void setAutonomousCommunityName(String autonomousCommunityName) {
this.autonomousCommunityName = autonomousCommunityName;
}
}接下来，修改ProvinceService来执行这种转换：
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.client.RestTemplate;
import java.util.List;
import java.util.stream.Collectors;
@Service
public class ProvinceService {
@Autowired
RestTemplate restTemplate; // 注入RestTemplate
public List getAllProvincesFilteredAndTransformed() {
// 调用Templates类中经过去重处理的方法
Provinces listOfProvinces = Templates.restTemplateProvince(restTemplate);
// 对去重后的ProvincesData列表进行转换
return listOfProvinces.getProvinces()
.stream()
.map(p -> new CustomProvinceView(p.getCodAuton(), p.getComunidadeCidadeAutonoma()))
.collect(Collectors.toList());
}
// 如果需要返回List，例如只包含社区名称：
public List getAllAutonomousCommunityNames() {
Provinces listOfProvinces = Templates.restTemplateProvince(restTemplate);
return listOfProvinces.getProvinces()
.stream()
.map(ProvincesData::getComunidadeCidadeAutonoma)
.collect(Collectors.toList());
}
} 最后，更新您的RestController以返回转换后的数据：
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
@RestController
public class ShowcaseController {
@Autowired
ProvinceService provinceService;
@GetMapping("/provinces/custom")
public List getCustomProvinces(){
return provinceService.getAllProvincesFilteredAndTransformed();
}
@GetMapping("/provinces/community-names")
public List getCommunityNames(){
return provinceService.getAllAutonomousCommunityNames();
}
} 通过以上步骤，我们实现了：
- 使用RestTemplate获取原始数据。
- 在数据获取阶段对数据进行去重处理。
- 在业务逻辑层将去重后的数据转换成符合API输出需求的新DTO列表，并重命名了属性。
- 提供了另一种将数据转换为List
的示例。
注意事项与最佳实践
-
性能考量：在filter操作中使用List.contains()对于非常大的列表（百万级别以上）可能会有性能问题，因为它是一个O(n)操作。对于大数据集，更高效的去重方法是使用Set：
Set
includedCodAutons = new HashSet<>(); List filteredProvinces = province.getProvinces().stream() .filter(p -> includedCodAutons.add(p.getCodAuton())) // Set.add()返回true表示添加成功（不重复），false表示已存在（重复） .collect(Collectors.toList()); 这种方式将去重操作的平均时间复杂度降低到O(1)，整体过滤效率更高。
- DTO设计：为外部API响应和内部API输出设计不同的DTO是良好的实践。外部API DTO（如Provinces和ProvincesData）应尽可能匹配外部API的结构，以便于反序列化。而内部API DTO（如CustomProvinceView）则应根据您的业务需求和客户端展示需求进行优化，只包含必要字段且命名清晰。
- 职责分离：将数据获取、过滤和转换逻辑分别放置在不同的层（如Templates类、Service层）有助于保持代码的模块化和可维护性。Templates负责原始数据获取和初步的通用处理，Service层负责业务逻辑和数据转换以满足特定API需求。
- 错误处理：在实际应用中，RestTemplate调用应该包含适当的错误处理机制，例如try-catch块来捕获RestClientException，并处理网络问题或API返回的错误状态码。
总结
本教程展示了如何利用Spring RestTemplate和Java Stream API有效地处理从外部API获取的复杂数据。通过分阶段的过滤和转换，我们能够将原始、可能冗余的数据转化为精简、结构清晰且符合特定API输出要求的格式。掌握这些技术将使您在构建健壮且灵活的Spring Boot
