概述
本文介绍如何使用 Amazon Redshift 的流式摄取功能,从 Amazon MSK (Managed Streaming for Apache Kafka) 实时读取数据并创建物化视图。
架构说明
Redshift 支持两种方式连接 MSK:
- 预置集群模式:直接连接到 Kafka broker 节点
- 无服务器模式:通过 MSK 集群 ARN 连接
前置条件
- 已创建 MSK 集群(预置或无服务器)
- 已配置 IAM 角色,具有访问 MSK 的权限
- Redshift 集群与 MSK 在同一 VPC 或已配置网络连通性
- 启用 IAM 身份验证
实现步骤
1. 创建 IAM 角色和权限策略
1.1 创建 IAM 策略
创建一个 IAM 策略,授予访问 MSK 的权限:
{"Version"