JoltTransformRecord
描述:
针对输入数据流的Record内容进行相应的一系列转换操作。成功转换的Record内容将输出到'success'连线。如果转换失败,原始的JSON内容将输出到'failure'连线。
标签:
json, jolt, transform, shiftr, chainr, defaultr, removr, cardinality, sort, 转换
参数:
如下列表中,必填参数则标识为加粗. 其他未加粗参数,则表示为可选参数。表中同时提到参数默认值设置, 并且 参数还支持 表达式语言.
名字 | 默认值 | 允许值列表 | 描述 |
---|---|---|---|
记录读取者 | 控制器服务API: RecordReaderFactory 实现: ParquetReader GrokReader SyslogReader Syslog5424Reader CSVReader AvroReader JsonPathReader JsonTreeReader ScriptedReader XMLReader | 指定用于读取输入数据的控制器服务。 | |
记录写入者 | 控制器服务API: RecordSetWriterFactory 实现: CSVRecordSetWriter FreeFormTextRecordSetWriter AvroRecordSetWriter JsonRecordSetWriter XMLRecordSetWriter ParquetRecordSetWriter ScriptedRecordSetWriter | 指定用于写入记录的控制器服务。 | |
Jolt 转换 DSL | 链式 | - Cardinality - 链式 - 默认 - 修改 - 默认 - 修改 - 定义 - 修改 - 覆盖 - 删除 - 移位 - 排序 - 自定义 | 指定用于Jolt转换所应用的转换规则。 |
自定义转换类名 | 自定义转换的全限定类名(包含包) | ||
自定义模块路径 | 包含自定义模块并由逗号分隔的多个文件或目录路径 支持表达式语言 (仅支持变量) | ||
Jolt 规则 | 转换Record数据的Jolt设置规则。当Jolt是排序模式时,将被忽略 支持表达式语言 (支持流属性和变量) | ||
转换缓存大小 | 1 | 编译Jolt转换代价高,并且仅需编译一次,然而,如果转换中支持表达式,则需要针对每个数据流都需要新的转换。给参数用于控制多少个转换被缓存到内存中,以避免每次都重新编译 |
连线:
名字 | 描述 |
---|---|
success | 成功转换Record数据后,新的Record数据输出到该成功连线 |
failure | 如果由于任何原因导致转换失败,比如非Record数据,将原始数据输出到该失败连线 |
original | 原始的输入数据流将被路由到此连线 |
读取属性:
未提供。
写入属性:
名字 | 描述 |
---|---|
record.count | 流出的FlowFile中的记录数 |
mime.type | 记录写入器处理的MIME类型 |
状态管理:
该组件不保存状态。
限制:
该组件没有限制
输入流要求:
组件必须提供输入流。
系统资源考量:
未提供。