ConsumeAzureEventHub

描述:

从微软的Azure事件中心接收消息，并将接收到的Azure消息内容输出到数据流中

标签:

azure, microsoft, cloud, eventhub, events, streaming, streams, 微软, 事件, 流式, 云

参数:

如下列表中，必填参数则标识为加粗. 其他未加粗参数，则表示为可选参数。表中同时提到参数默认值设置, 参数还支持 表达式语言, 并且 如果将一个参数认定为"敏感", 表示是加密状态. 在输入一个敏感参数时, 确保 orchsym.properties 文件中存在属性设置 orchsym.sensitive.props.key.

名字	默认值	允许值列表	描述
事件中心命名空间			指定Azure事件中心分配的命名空间，通常类似 <Event Hub 名字>-ns 支持表达式语言 (仅支持变量)
事件中心名字			指定拉取消息的Azure事件中心名字 支持表达式语言 (仅支持变量)
共享访问策略名			指定事件中心共享访问策略的名字，该策略必须具有监听的权限 支持表达式语言 (仅支持变量)
共享访问策略主秘钥			指定事件中心共享访问策略的主秘钥 敏感状态 支持表达式语言 (仅支持变量)
事件中心消费组	$Default		指定事件中心使用的消费组名 支持表达式语言 (仅支持变量)
事件中心消费主机			指定事件中心消费实例的主机名。如果不指定，将自动生成一个格式为nifi-<UUID>的名字 支持表达式语言 (仅支持变量)
记录读取服务		控制器服务API: RecordReaderFactory 实现: ParquetReader GrokReader SyslogReader Syslog5424Reader CSVReader AvroReader JsonPathReader JsonTreeReader ScriptedReader XMLReader	用于解析读取接收到的消息，可通过事件中心名字的变量引用'${eventhub.name}'来访问schema
记录输出服务		控制器服务API: RecordSetWriterFactory 实现: CSVRecordSetWriter FreeFormTextRecordSetWriter AvroRecordSetWriter JsonRecordSetWriter XMLRecordSetWriter ParquetRecordSetWriter ScriptedRecordSetWriter	用于序列化记录到输出数据流的输出服务。可通过事件中心名字的变量引用'${eventhub.name}'来访问schema。如果不指定，每个消息将单独输出
初始位置	新开始流	- 现有流 - 新开始流	指定开始接收消息的位置，当Azure中没有存储指定的开始位置
预取数	300		指定将要获取消息的预期数 支持表达式语言 (仅支持变量)
分批数量	10		一次会话处理的消息数，该参数可能影响吞吐量和一致性。平台在处理此数量的消息后将提交数据流会话和事件中心检查点。如果平台会话已提交，但未能创建事件中心检查点，则可能再次检索相同的消息。数字越大，吞吐量越高，但可能导致一致性问题。 支持表达式语言 (仅支持变量)
接收消息超时	1 min		在返回前等待接收预期数的消息的时间 支持表达式语言 (仅支持变量)
存储账号名			指定存储事件中心消费组状态的云存储账号名 支持表达式语言 (仅支持变量)
存储账号秘钥			指定存储事件中心消费组状态的云存储账号秘钥 敏感状态 支持表达式语言 (仅支持变量)
存储容器名			指定存储事件中心消费组状态的存储容器，如果不指定，将使用事件中心名字 支持表达式语言 (仅支持变量)

连线:

名字	描述
success	成功从事件中心获取消息输出到此连线
parse.failure	如果事件中心的消息无法用读取服务解析或者通过输出服务失败，消息的内容将作为单独的数据流输出到此连线

读取属性:

未提供。

写入属性:

名字	描述
eventhub.enqueued.timestamp	消息在Azure事件中心排队的毫秒数时间戳
eventhub.offset	存储消息的分区的偏移量
eventhub.sequence	分配给消息的Azure序列号
eventhub.name	拉取消息的事件中心的名字
eventhub.partition	拉取消息的事件中心的分区名字

状态管理:

该组件不保存状态。

限制:

该组件没有限制

输入流要求:

组件禁止提供输入流。

系统资源考量:

未提供。