PartitionRecord
描述:
接收面向记录的数据(即可由配置的记录读取器读取的数据)，并根据传入数据流中的每个记录评估一个或多个记录路径。然后，将每个记录与其他“LIKE记录”组合在一起，并为每组“LIKE记录”创建一个数据流。两条记录“类似记录”的含义由用户定义的属性决定。用户必须输入至少一个用户定义的属性，该属性的值为RecordPath。如果两个记录对所有已配置的RecordPath具有相同的值，则这两个记录被视为相同。因为我们知道给定Output 数据流中的所有记录对于RecordPath指定的字段都具有相同的值，因此将为每个字段添加一个属性。有关详细信息和示例，请参阅“使用”页上的其他详细信息。
标签:
record, partition, recordpath, rpath, segment, split, group, bin, organize, 记录, 隔离, 记录路径, 路径, 划分, 分离, 容器, 组织
参数:
如下列表中，必填参数则标识为加粗. 其他未加粗参数，则表示为可选参数。表中同时提到参数默认值设置.
| 名字 | 默认值 | 允许值列表 | 描述 |
|---|---|---|---|
| 记录读取服务 | 控制器服务API: RecordReaderFactory 实现: ParquetReader GrokReader SyslogReader Syslog5424Reader CSVReader AvroReader JsonPathReader JsonTreeReader ScriptedReader XMLReader | 指定用于读取传入数据的控制器服务。 | |
| 记录输出服务 | 控制器服务API: RecordSetWriterFactory 实现: CSVRecordSetWriter FreeFormTextRecordSetWriter AvroRecordSetWriter JsonRecordSetWriter XMLRecordSetWriter ParquetRecordSetWriter ScriptedRecordSetWriter | 指定用于写出记录的控制器服务。 |
动态参数:
| 名字 | 值 | 描述 |
|---|---|---|
| The name given to the dynamic property is the name of the attribute that will be used to denote the value of the associted RecordPath. | A RecordPath that points to a field in the Record. | 每个动态属性表示一个RecordPath，该路径将根据传入数据流中的每条记录进行计算。为记录确定RecordPath的值时，将向传出数据流添加一个属性。属性的名称与此属性的名称相同。属性的值与RecordPath指向的记录中字段的值相同。请注意，如果为RecordPath返回的值为NULL或不是标量值(即，该值是Array、Map或Record)，则不会添加任何属性。 支持表达式语言 (支持流属性和变量) |
连线:
| 名字 | 描述 |
|---|---|
| success | 已成功分区的数据流将路由到此连线 |
| failure | 如果数据流无法从配置的输入格式分区为配置的输出格式，则未更改的FlowFile将被路由到此连线 |
| original | 一旦传入数据流中的所有记录都已分区，原始数据流将路由到此连线。 |
读取属性:
未提供。
写入属性:
| 名字 | 描述 |
|---|---|
| record.count | 传出数据流中的记录数 |
| mime.type | 配置的记录编写器指示的MIME类型是特殊的 |
<dynamic property name> | For each dynamic property that is added, an attribute may be added to the FlowFile. See the description for Dynamic Properties for more information. |
状态管理:
该组件不保存状态。
限制:
该组件没有限制
输入流要求:
组件必须提供输入流。
系统资源考量:
未提供。