GetHTTP
描述:
获取指定HTTP或HTTPS地址的数据并写入到流文件中。获取到内容后,ETag属性和最后修改时间属性将被记住(如果远程服务器端支持这些属性的话)。这样,仅在远程服务器端数据发生变化或上述记住的状态被清除时,才需要当前处理器再次去获取新的数据。换言之,一旦从远程URL地址获取到了内容,将不再重复获取之,直到远程服务器上的数据内容有所变化才会再次获取新的内容。注意,由于状态管理机制的限制,已保存的"最后修改时间"和ETag属性永不过期。如果使用不加限制的表达式语句来表述URL地址,可能发生内存不足的错误。
标签:
get, fetch, poll, http, https, ingest, source, input, 获取, 拉取, 输入
参数:
如下列表中,必填参数则标识为加粗. 其他未加粗参数,则表示为可选参数。表中同时提到参数默认值设置, 参数还支持 表达式语言, 并且 如果将一个参数认定为"敏感", 表示是加密状态. 在输入一个敏感参数时, 确保 orchsym.properties 文件中存在属性设置 orchsym.sensitive.props.key.
名字 | 默认值 | 允许值列表 | 描述 |
---|---|---|---|
URL | 指定获取数据的地址 支持表达式语言 (仅支持变量) | ||
文件名 | 指定获取到数据后将保存到此文件名中 支持表达式语言 (仅支持变量) | ||
SSL服务 | 控制器服务API: SSLContextService 实现: StandardRestrictedSSLContextService StandardSSLContextService | 用于保证服务器的SSL服务安全。 | |
用户名 | 连接该URL需要使用到的用户名 | ||
密码 | 连接该URL需要使用到的密码 敏感状态 | ||
连接超时 | 30 sec | 如果在该指定时间内无法成功连接上远端服务器将放弃连接尝试。 | |
数据超时 | 30 sec | 在成功和服务器端建立连接后,如果在该指定时间内服务器端没有完成返回全部数据的任务,客户端将断开连接并且忽略服务器已返回的部分结果。 | |
保持长连接 | 保持 | - 保持 - 不 | 指定在当前请求完成后是否保持长连接使得该连接可被其他请求使用。 |
User Agent | 设置连接到远程服务器时使用的User Agent值。 | ||
允许的Content-Type | 如果指定了值,仅当服务器端返回了和此处相同的Content-Type,才接受该服务器的响应结果。 | ||
允许重定向访问 | 禁止 | - 允许 - 禁止 | 如果服务器端返回了3xx的HTTP状态码,该选项决定是否继续请求服务器端返回结果中的重定向地址。 |
重定向相关Cookie策略 | 默认 | - 默认 - 标准模式 - 严格模式 - netscape - 忽略 | 当HTTP服务器端返回的是一个重定向,将使用该cookie策略决定如何拷贝cookies到后续发出的请求。 |
代理配置 | 控制器服务API: ProxyConfigurationService 实现: StandardProxyConfigurationService | 指定一个代理配置管理器服务来代理转发网络请求。如果设置了该选项,它将取代每个组件上的代理设置。支持的代理类型包括:HTTP + AuthN。 | |
代理主机 | 代理服务器的完整主机名或IP | ||
代理端口 | 代理服务器的代理端口 |
动态参数:
名字 | 值 | 描述 |
---|---|---|
Header Name | The Expression Language to be used to populate the header value | 每当发出新的HTTP请求时,组件将发送的该附加头。例如动态属性名设置为xyz,将值设置为$attribute,将带有头'xyz\uff1aattribute_value'被发送到HTTP端。 该组件创建的任何新的HTTP请求将携带此处自定义的HTTP头部信息。比如,设置一个动态的属性名为 XYZ,其值为 ${attribute}, 将会使HTTP接收方收到一个"XYZ: attribute_value"这样的头部信息。 支持表达式语言 (仅支持变量) |
连线:
名字 | 描述 |
---|---|
success | 所有的文件都将发往成功的连线。 |
读取属性:
未提供。
写入属性:
名字 | 描述 |
---|---|
filename | 文件名将继承远程服务器端原始的文件名。 |
mime.type | 这个流文件的MIME类型,该值源自响应内容的HTTP Content-Type头部信息。 |
状态管理:
范围 | 描述 |
---|---|
LOCAL | 将保存服务器端返回的"最后修改时间"和ETag头部信息,这样可以避免多次请求同一个文件。 |
限制:
该组件没有限制
输入流要求:
组件禁止提供输入流。
系统资源考量:
未提供。