GetKafka
描述:
通过Apache Kafka 0.8.x版本的消费API来消费消息。与发送消息的Kafka组件 PutKafka 相对应。
标签:
Kafka, Apache, Get, Ingest, Ingress, Topic, PubSub, 0.8.x, 获取, 主题
参数:
如下列表中，必填参数则标识为加粗. 其他未加粗参数，则表示为可选参数。表中同时提到参数默认值设置, 并且 参数还支持 表达式语言.
| 名字 | 默认值 | 允许值列表 | 描述 |
|---|---|---|---|
| ZooKeeper连接串 | 为了连接到ZooKeeper的连接字符串。由英文逗号分隔的列表，其基本格式为 <host>:<port>。 比如 host1:2181,host2:2181,host3:2188支持表达式语言 (仅支持变量) | ||
| 主题名 | 用于拉取消息的Kafka主题名 支持表达式语言 (仅支持变量) | ||
| Zookeeper提交频次 | 60 secs | 指定消息拉取的且与ZooKeeper通信的频次。设置较长的时间频次将有更好的总体性能，但如果丢失运行平台节点，则可能产生更多的重复数据。 | |
| 分批数量 | 1 | 指定单个数据流输出的最大消息数。将多个消息通过<消息分隔符>来组装在一起输出。如果消息不能被组装，则将该参数设置为1 | |
| 消息分隔符 | \n | 指定将多个消息组装的分隔字符。如果批次大小设置为1，则忽略该参数。否则每个批次的消息，都是通过该分割字符分隔 | |
| 客户端名 | NiFi-mock-processor | 当与Kafka通信而使用的客户端名 | |
| 组ID | mock-processor | 在相同消费组内标识消费者的组ID 支持表达式语言 (仅支持变量) | |
| Kafka通信超时 | 30 secs | 指定在通信错误之前的Kafka响应的等待时间 | |
| ZooKeeper通信超时 | 30 secs | 指定在通信错误之前的ZooKeeper响应的等待时间 | |
| 自动重设offset | 最大 | - 最小 - 最大 | 自动重设offset到最小还是最大 |
动态参数:
| 名字 | 值 | 描述 |
|---|---|---|
| The name of a Kafka configuration property. | The value of a given Kafka configuration property. | 在加载提供的配置之后，这些属性将被添加到Kafka的配置中，如果动态属性是已设置的属性，则其值将被忽略并记录警告消息。有关可用Kafka属性的列表，请参阅: http://kafka.apache.org/documentation.html#configuration. 不支持表达式语言 |
连线:
| 名字 | 描述 |
|---|---|
| success | 成功接收消费消息的数据将输出到此成功连线 |
读取属性:
未提供。
写入属性:
| 名字 | 描述 |
|---|---|
| kafka.topic | 接收的消息主题名 |
| kafka.key | 当存在且批次大小是1时的消息键名。如果消息没有键，或者批次大于1，则该属性不输出到数据流中 |
| kafka.partition | 接收的消息主题分区名，仅当批次大小为1时，该属性才会输出 |
| kafka.offset | 在分区中的消息位移，仅当批次大小为1时，该属性才会输出 |
状态管理:
该组件不保存状态。
限制:
该组件没有限制
输入流要求:
组件禁止提供输入流。
系统资源考量:
未提供。