ListGCSBucket
描述:
从GCS桶（bucket）中检索对象列表。对于列出的每个对象，会创建一个表示该对象的流文件，以便可以将其与FetchGCSObject一起获取。该组件只在集群中的主节点上运行。如果主节点发生更改，新的主节点将在不复制所有数据的情况下继续从上一个节点停止的地方开始。
标签:
google cloud, google, storage, gcs, list, 存储
参数:
如下列表中，必填参数则标识为加粗. 其他未加粗参数，则表示为可选参数。表中同时提到参数默认值设置.
| 名字 | 默认值 | 允许值列表 | 描述 |
|---|---|---|---|
| GCP凭据提供者服务 | 控制器服务API: GCPCredentialsService 实现: GCPCredentialsControllerService | 用于获取谷歌云平台凭据的控制器服务。 | |
| 项目ID | 谷歌云项目ID | ||
| 重试次数 | 6 | 在路由到失败连线之前，应该进行多少次重试尝试。 | |
| 代理主机 | 要使用的代理的IP或主机名。 | ||
| 代理端口 | 代理端口号 | ||
| 桶(Bucket) | 对象的桶。 | ||
| 前缀 | 用于筛选对象列表的前缀。在大多数情况下，它应该以正斜杠('/')结尾。 | ||
| 使用生成世代(Generations) | false | - true - false | 指定是否使用GCS生成世代(如果适用)。如果为false，则只返回每个对象的最新版本。 |
连线:
| 名字 | 描述 |
|---|---|
| success | 执行谷歌云存储操作成功后，将流文件路由到此连线。 |
读取属性:
未提供。
写入属性:
| 名字 | 描述 |
|---|---|
| filename | 文件的名称 |
| gcs.bucket | 对象的桶。 |
| gcs.key | Name of the object. |
| gcs.size | 对象的大小。 |
| gcs.cache.control | 对象的数据缓存控制。 |
| gcs.component.count | 组成对象的组件数量。 |
| gcs.content.disposition | 对象的数据内容配置。 |
| gcs.content.encoding | 对象的内容编码。 |
| gcs.content.language | 对象内容的语言。 |
| mime.type | 对象的MIME/Content-Type。 |
| gcs.crc32c | 对象数据的CRC32C校验和，用base64按大端顺序编码。 |
| gcs.create.time | 对象的创建时间(毫秒)。 |
| gcs.update.time | 对象的最后修改时间(毫秒)。 |
| gcs.encryption.algorithm | 用于加密对象的算法。 |
| gcs.encryption.sha256 | 用于加密对象的SHA256哈希密钥。 |
| gcs.etag | 对象的HTTP 1.1 ETag。 |
| gcs.generated.id | 对象的服务生成信息。 |
| gcs.generation | 对象数据的生成世代。 |
| gcs.md5 | 用base64编码的对象数据的MD5散列值。 |
| gcs.media.link | 该对象的媒体下载链接。 |
| gcs.metageneration | 对象的metageneration信息。 |
| gcs.owner | 对象的所有者(上传者)。 |
| gcs.owner.type | 对象上传者的ACL类型。 |
| gcs.uri | 对象的URI字符串。 |
状态管理:
| 范围 | 描述 |
|---|---|
| CLUSTER | 在处理完对象的名称(key)列表之后，最新对像对应的时间戳会被存储起来，以及共享相同时间戳的key。这允许组件在下一次运行时，只列出此日期之后增加或修改的key。状态存储在整个集群中，因此该组件只能在主节点上运行，如果选择了一个新的主节点，则新节点可以在前一个节点停止的地方继续运行，而不需要复制数据。 |
限制:
该组件没有限制
输入流要求:
组件禁止提供输入流。
系统资源考量:
未提供。