ListS3
描述:
从S3桶中获取对象列表。 对于每个获取的对象，将分别创建一个数据流输出，以方便FetchS3Object组件使用. 该组件应该仅运行在主节点上，在集群模式下。如果集群主节点变化，新的主节点将从前一个节点剩下的列表开始，以防止重复数据
标签:
Amazon, S3, AWS, list, 亚马逊, 列表
参数:
如下列表中，必填参数则标识为加粗. 其他未加粗参数，则表示为可选参数。表中同时提到参数默认值设置, 参数还支持 表达式语言, 并且 如果将一个参数认定为"敏感", 表示是加密状态. 在输入一个敏感参数时, 确保 orchsym.properties 文件中存在属性设置 orchsym.sensitive.props.key.
| 名字 | 默认值 | 允许值列表 | 描述 |
|---|---|---|---|
| 桶名 | 指定要获取的桶名字 支持表达式语言 (仅支持变量) | ||
| 地区 | 美国西部 (俄勒冈) | - 亚马逊政府云 (美国) - 美国东部 (弗吉尼亚) - 美国东部 (俄亥俄州) - 美国西部 (加利福尼) - 美国西部 (俄勒冈) - 欧洲 (爱尔兰) - 欧洲 (伦敦) - 欧洲 (巴黎) - 欧洲 (法兰克福) - 亚太 (孟买) - 亚太 (新加坡) - 亚太 (悉尼) - 亚太 (东京) - 亚太 (首尔) - 南美 (圣保罗) - 中国 (北京) - 中国 (宁夏) - 加拿大 (中部) | 指定地区区域名 |
| AccessKey访问秘钥 | 指定AWS的AccessKey访问秘钥 敏感状态 支持表达式语言 (仅支持变量) | ||
| SecretKey秘钥 | 指定AWS的SecretKey秘钥 敏感状态 支持表达式语言 (仅支持变量) | ||
| 输出对象标签 | 不输出 | - 输出 - 不输出 | 如果设置输出，S3对象的标签将作为属性属性 |
| 证书文件 | 指定包含AWSAccessKey访问秘钥和SecretKey秘钥的证书属性文件路径 | ||
| AWS证书提供服务 | 控制器服务API: AWSCredentialsProviderService 实现: AWSCredentialsProviderControllerService | 用于提供AWS证书的服务 | |
| 通信超时 | 30 secs | 指定连接通信超时时间 | |
| SSL服务 | 控制器服务API: SSLContextService 实现: StandardRestrictedSSLContextService StandardSSLContextService | 指定是否启用SSL连接服务，如果设置，将被使用来创建安全连接 | |
| 服务URL | 指定用于替代AWS默认的主机、端口号以及路径的的服务URL。将根据AWS地区从AWS库中选择一个服务URL，允许使用其他S3兼容的服务URL。 支持表达式语言 (仅支持变量) | ||
| 签名 | 默认签名 | - 默认签名 - V4签名 - v2签名 | 通常AWS库使用默认的签名器，但是通过该参数，允许自定义指定S3兼容的老的签名服务 |
| Use Path Style Access | true | - true - false | Path-style access can be enforced by setting this property to true. Set it to true if your endpoint does not support virtual-hosted-style requests, only path-style requests. |
| 代理配置 | 控制器服务API: ProxyConfigurationService 实现: StandardProxyConfigurationService | 指定代理网络的配置服务，如果设置，可针对每个组件配置相同的代理设置。 支持代理：HTTP + AuthN | |
| 代理主机 | 指定代理主机名或IP 支持表达式语言 (仅支持变量) | ||
| 代理端口号 | 指定代理端口号 支持表达式语言 (仅支持变量) | ||
| 代理用户名 | 指定代理用户名 支持表达式语言 (未定义) | ||
| 代理用户密码 | 指定代理用户密码 敏感状态 支持表达式语言 (未定义) | ||
| 分隔符 | 用于分隔存储桶中的多个目录，需查看AWS官方文档来正确使用该参数 | ||
| 前缀 | 用于过滤对象列表的前缀，在大部分情况下，设置值应该以斜杠结束('/'). 支持表达式语言 (仅支持变量) | ||
| 使用版本 | 不使用 | - 使用 - 不使用 | 指定是否使用S3的版本，如果不使用，则仅读取每个对象的最新版本 |
| 列表类型 | V1 | - V1 - V2 | 指定是否使用原始的对象列表对象还是使用新的V2版本的对象列表 |
| 最小对象时间 | 0 sec | 用于指定获取对象的最小修改时间， 任何小于此时间量的对象（根据上次修改日期）将被忽略。 |
连线:
| 名字 | 描述 |
|---|---|
| success | 数据流成功输出到此连线 |
读取属性:
未提供。
写入属性:
| 名字 | 描述 |
|---|---|
| s3.bucket | S3桶名 |
| filename | 文件名 |
| s3.etag | 可用于查看文件是否已更改的ETag值 |
| s3.isLatest | 是否最新版本的对象 |
| s3.lastModified | 毫秒数的修改时间 |
| s3.length | 文件的大小 |
| s3.storeClass | 对象存储类 |
| s3.version | 对象版本 |
| s3.tag.___ | 输出对象的标签列表 |
状态管理:
| 范围 | 描述 |
|---|---|
| CLUSTER | 处理完一个列表的键，最新的时间戳将被存储，允许组件增量的获取新添加的或修改的对象。状态将被存储在集群中，及时组件仅允许在主节点上，新的主节点也能从剩下的列表开始，而不会有重复数据。 |
限制:
该组件没有限制
输入流要求:
组件禁止提供输入流。
系统资源考量:
未提供。