0

0

Nifi如何处理XML流数据 ConvertRecord处理器

幻夢星雲

幻夢星雲

发布时间:2025-12-19 16:54:10

|

205人浏览过

|

来源于php中文网

原创

ConvertRecord 处理 XML 需配合 XMLReader 与明确 Schema(如 Avro),禁用 Infer Schema;选用 XMLRecordSetWriter 并关闭 Include XML Declaration,避免嵌套声明与编码污染;轻量场景可选 EvaluateXPath、ReplaceText 等替代方案。

nifi如何处理xml流数据 convertrecord处理器

Apache NiFi 处理 XML 流数据时,ConvertRecord 是核心处理器之一,但它不是直接“解析 XML 字符串”的万能工具——它依赖明确的 Schema 和配套的 RecordReader/RecordWriter 控制器服务。若配置不当,容易出现你提到的问题:XML 被包裹进 `...`、编码被改写(如 utf-16 → utf-8)、甚至嵌套重复声明(如 `` 出现多次),导致后续系统无法识别。

确保 XML 有可识别的 Schema

ConvertRecord 不会自动推断 XML 结构。它必须通过 RecordReader(如 XMLReader)配合 Schema 才能正确提取字段。常见做法:

  • 使用 AvroSchemaRegistrySchemaRegistryClient 提前注册 XML 对应的 Avro Schema(推荐方式)
  • 若 XML 结构简单且固定,可用 Inline Schema 模式,在 XMLReader 的 Schema Text 属性中手动填写 Avro JSON Schema(注意字段名、类型、嵌套层级需与 XML 实际结构严格一致)
  • 避免用 “Infer Schema” —— NiFi 的 XML 推断能力有限,易出错,尤其含命名空间、混合内容或可选元素时

选用正确的 Reader 和 Writer 组合

关键不在“能不能转”,而在“怎么转才干净”:

  • Reader 必须是 XMLReader(不是 CSVReader 或 JsonReader),并在其属性中启用 Validate SchemaIgnore Namespaces(如适用)
  • Writer 推荐用 XMLRecordSetWriter(而非 GenericRecordSetWriter),它专为输出标准 XML 设计;确认其 Output Grouping 设置为 root-element,并指定 Root Element Name(如 fdx
  • 禁用 Include XML Declaration(除非下游强制要求),否则每次转换都会插入新的 ,造成嵌套污染

清理多余包装和编码干扰

你看到的 `......` 是因为:

赣极购物商城网店建站软件系统
赣极购物商城网店建站软件系统

大小仅1兆左右 ,足够轻便的商城系统; 易部署,上传空间即可用,安全,稳定; 容易操作,登陆后台就可设置装饰网站; 并且使用异步技术处理网站数据,表现更具美感。 前台呈现页面,兼容主流浏览器,DIV+CSS页面设计; 如果您有一定的网页设计基础,还可以进行简易的样式修改,二次开发, 发布新样式,调整网站结构,只需修改css目录中的css.css文件即可。 商城网站完全独立,网站源码随时可供您下载

下载
  • 原始 FlowFile 内容被当作“单字段字符串”处理了(例如误用了 TextLineReader 或未配 Schema 的 Reader)
  • Writer 把整条记录当作文本字段塞进了默认的 nifirecord 根节点
  • UTF-16 声明被覆盖,是因为 XMLReader 默认按 UTF-8 解析输入,而 Writer 又按自身配置写入新声明

解决办法:

  • 在 ConvertRecord 前加一个 ReplaceText 处理器,用正则清除原始内容开头可能存在的 BOM 或冗余 XML 声明(如 ^]*\?>\s*
  • 在 ConvertRecord 后接 UpdateAttribute,设置 mime.type = application/xml,帮助下游识别格式
  • 若仍需保留 UTF-16 编码,可在 XMLRecordSetWriter 中显式设置 Encoding 属性为 UTF-16(注意:需确保 JVM 环境支持)

替代方案:轻量级 XML 处理不一定要用 ConvertRecord

如果只是做简单 XML 格式调整(如增删节点、改属性、提取值),反而更推荐组合使用:

  • EvaluateXPath:提取特定节点内容到 FlowFile 属性
  • ReplaceText(配合 XPath 表达式):原地修改 XML 片段
  • SplitXml:按路径拆分 XML 文档为多个 FlowFiles(适合多记录 XML)
  • ExecuteScript(Groovy/Python):对复杂逻辑做定制化处理,绕过 Schema 限制

这类方式不依赖 Schema,不易引入额外包装,更适合运维可控、变更频繁的 XML 场景。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

767

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

661

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

764

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

639

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1305

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

549

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

579

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

709

2023.08.11

Java JVM 原理与性能调优实战
Java JVM 原理与性能调优实战

本专题系统讲解 Java 虚拟机(JVM)的核心工作原理与性能调优方法,包括 JVM 内存结构、对象创建与回收流程、垃圾回收器(Serial、CMS、G1、ZGC)对比分析、常见内存泄漏与性能瓶颈排查,以及 JVM 参数调优与监控工具(jstat、jmap、jvisualvm)的实战使用。通过真实案例,帮助学习者掌握 Java 应用在生产环境中的性能分析与优化能力。

19

2026.01.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 7.6万人学习

Django 教程
Django 教程

共28课时 | 3.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号