Skip to main content

JoltTransformRecord

描述:

针对输入数据流的Record内容进行相应的一系列转换操作。成功转换的Record内容将输出到'success'连线。如果转换失败,原始的JSON内容将输出到'failure'连线。

标签:

json, jolt, transform, shiftr, chainr, defaultr, removr, cardinality, sort, 转换

参数:

如下列表中,必填参数则标识为加粗. 其他未加粗参数,则表示为可选参数。表中同时提到参数默认值设置, 并且 参数还支持 表达式语言.

名字默认值允许值列表描述
记录读取者控制器服务API:
RecordReaderFactory
实现:
ParquetReader
GrokReader
SyslogReader
Syslog5424Reader
CSVReader
AvroReader
JsonPathReader
JsonTreeReader
ScriptedReader
XMLReader
指定用于读取输入数据的控制器服务。
记录写入者控制器服务API:
RecordSetWriterFactory
实现:
CSVRecordSetWriter
FreeFormTextRecordSetWriter
AvroRecordSetWriter
JsonRecordSetWriter
XMLRecordSetWriter
ParquetRecordSetWriter
ScriptedRecordSetWriter
指定用于写入记录的控制器服务。
Jolt 转换 DSL链式
- CardinalityChange the cardinality of input elements to create the output Record.
- 链式执行一系列Jolt转换
- 默认应用默认值到输出Record中
- 修改 - 默认当键不存在或值为null时,写入
- 修改 - 定义当键不存在时,写入
- 修改 - 覆盖总是覆盖值
- 删除从输入数据中删除值并创建输出Record
- 移位将输入Record数据移位并创建输出Record
- 排序根据输入Record数据的键进行字母排序,其他转换规范设置将忽略
- 自定义自定义转换,需要提供自定义转换类名
指定用于Jolt转换所应用的转换规则。
自定义转换类名自定义转换的全限定类名(包含包)
自定义模块路径包含自定义模块并由逗号分隔的多个文件或目录路径

支持表达式语言 (仅支持变量)
Jolt 规则转换Record数据的Jolt设置规则。当Jolt是排序模式时,将被忽略

支持表达式语言 (支持流属性和变量)
转换缓存大小1编译Jolt转换代价高,并且仅需编译一次,然而,如果转换中支持表达式,则需要针对每个数据流都需要新的转换。给参数用于控制多少个转换被缓存到内存中,以避免每次都重新编译

连线:

名字描述
success成功转换Record数据后,新的Record数据输出到该成功连线
failure如果由于任何原因导致转换失败,比如非Record数据,将原始数据输出到该失败连线
original原始的输入数据流将被路由到此连线

读取属性:

未提供。

写入属性:

名字描述
record.count流出的FlowFile中的记录数
mime.type记录写入器处理的MIME类型

状态管理:

该组件不保存状态。

限制:

该组件没有限制

输入流要求:

组件必须提供输入流。

系统资源考量:

未提供。