Kinesis Firehose 传输流能够将其输入转换为 parquet。要实现这一点,需要为其提供用于访问 Glue 的 IAM 角色。
https://docs.aws.amazon.com/firehose/latest/APIReference/API_SchemaConfiguration.html
“RoleARN:Kinesis Data Firehose 可用于访问 AWS Glue 的角色。此角色必须与您用于 Kinesis Data Firehose 的账户相同。不允许跨账户角色。”
文档没有明确说明此角色的要求。是否有特定的粘合操作需要明确启用才能转换为功能?
答案1
它期望访问glue:GetTableVersions
这些资源的操作:
arn:aws:glue:{region}:{account_id}:catalog,
arn:aws:glue:{region}:{account_id}:database/{database_name},
arn:aws:glue:{region}:{account_id}:table/{database_name}/{table_name}
答案2
所需政策记录在此处:https://docs.aws.amazon.com/firehose/latest/dev/controlling-access.html#using-iam-glue
它说你需要以下政策:
{
"Effect": "Allow",
"Action": [
"glue:GetTable",
"glue:GetTableVersion",
"glue:GetTableVersions"
],
"Resource": "table-arn"
}