在这篇文章中,您将学习如何使用 亚马逊 Kinesis 数据流水线 构建日志摄取管道以发送 VPC流日志 至 亚马逊 OpenSearch 无服务器. 首先,您创建用于存储 VPC 流日志的 OpenSearch Serverless 集合,然后创建一个 Kinesis Data Firehose 传输管道,将流日志转发到 OpenSearch Serverless。 最后,您可以将 VPC 流日志传输到您的 Firehose 传输流。 下图说明了解决方案工作流程。
OpenSearch Serverless 是一个新的无服务器选项,由 亚马逊开放搜索服务. OpenSearch Serverless 让运行 PB 级搜索和分析工作负载变得简单,而无需配置、管理或扩展 OpenSearch 集群。 OpenSearch Serverless 自动配置和扩展底层资源,即使是要求最苛刻和不可预测的工作负载也能提供快速数据摄取和查询响应。
Kinesis Data Firehose 是一种流行的服务,可将来自 20 多种 AWS 服务的流数据传输到超过 15 种分析和可观察性工具,例如 OpenSearch Serverless。 Kinesis Data Firehose 非常适合那些寻求一种快速简便的方法来在几分钟内将您的 VPC 流日志数据发送到您的 OpenSearch 无服务器集合的人,而无需一行代码,也无需构建或管理您自己的数据摄取和交付基础设施。
VPC 流日志捕获进出 VPC 中网络接口的流量信息。 随着 Kinesis Data Firehose 对 OpenSearch Serverless 的支持的推出,它提供了一个简单的解决方案,只需单击几下即可分析您的 VPC 流日志。 Kinesis Data Firehose 提供真正的端到端无服务器机制,将流日志传送到 OpenSearch Serverless,您可以在其中使用 OpenSearch Dashboards 搜索这些日志、创建仪表板、检测异常并发送警报。 VPC 流日志可帮助您回答以下问题:
- 您的流量下降了多少百分比?
- 特定来源和目的地产生了多少流量?
创建您的 OpenSearch 无服务器集合
首先,您要创建一个集合。 OpenSearch 无服务器 采集 是代表分析工作负载的一个或多个索引的逻辑分组。 完成以下步骤:
- 在 OpenSearch 服务控制台上,选择 系列 下 无服务器 在导航窗格中。
- 创建一个集合.
- 针对 馆藏名称,输入名称(例如,
vpc-flow-logs
). - 针对 集合类型¸选择 时间序列.
- 针对 加密,选择您喜欢的加密设置:
- 使用 AWS 拥有的密钥 使用 AWS 托管密钥。
- 不同的 AWS KMS 密钥 使用你自己的 AWS密钥管理服务 (AWS KMS) 密钥。
- 针对 网络访问设置, 选择您喜欢的设置:
- VPC 使用 VPC 端点。
- 公共 使用公共端点。
AWS 建议您对所有生产工作负载使用 VPC 终端节点。 对于本演练,选择 公共.
- 创建.
创建集合应该需要几分钟时间。
下图快速演示了如何通过上述步骤创建 OpenSearch Serverless 集合。
至此,您已成功为 OpenSearch Serverless 创建了一个集合。 接下来,您为 Kinesis Data Firehose 创建一个交付管道。
创建 Kinesis Data Firehose 传输流
要为 Kinesis Data Firehose 设置传输流,请完成以下步骤:
- 在Kinesis Data Firehose控制台上,选择 创建传递流.
- 针对 来源,请指定 直接PUT.
看一看 来源、目的地和名称 了解有关 Kinesis Data Firehose 支持的不同来源的更多信息。
- 针对 目的地,选择 亚马逊 OpenSearch 无服务器.
- 针对 传输流名称,输入名称(例如,
vpc-flow-logs
). - 下 目的地设置在 OpenSearch 无服务器集合 设置,选择 浏览.
- 选择
vpc-flow-logs
. - .
如果您的收藏仍在创建中,请等待几分钟,然后重试。
- 针对 Index,请指定
vpc-flow-logs
. - 在 备份设置 部分,选择 仅失败数据 等加工。为 Amazon S3 中的源记录备份.
Kinesis Data Firehose 使用 亚马逊简单存储服务 (Amazon S3) 备份它试图传送到您选择的目的地的失败数据。 如果要保留所有数据,请选择 所有数据.
- 针对 S3 备份桶,选择 浏览 选择现有的 S3 存储桶,或选择 创建 创建一个新的桶。
- 创建传递流.
下图快速演示了如何通过上述步骤创建 Kinesis Data Firehose 传输流。
此时,您已成功为 Kinesis Data Firehose 创建传输流,您将使用它从 VPC 流日志流式传输数据并将其发送到您的 OpenSearch 无服务器集合。
为您的 OpenSearch 无服务器集合设置数据访问策略
在将任何日志发送到 OpenSearch Serverless 之前,您需要在 OpenSearch Serverless 中创建一个数据访问策略,以允许 Kinesis Data Firehose 写入 vpc-flow-logs
收藏中的索引。 完成以下步骤:
- 在 Kinesis Data Firehose 控制台上,选择 配置 您刚刚创建的 vpc-flow-logs 传输流的详细信息页面上的选项卡。
- 在 权限 节,记下 AWS身份和访问管理 (IAM) 角色。
- 导航到
vpc-flow-logs
OpenSearch 无服务器仪表板上的集合详细信息页面。 - 下 资料存取,选择 管理数据访问.
- 创建访问策略.
- 在 名称和描述 部分,指定访问策略名称,添加描述,然后选择 JSON 作为策略定义方法。
- 在 JSON 编辑器中添加以下策略。 提供您在策略中创建传输流期间指定的集合名称和索引。 提供您从 Firehose 交付流的权限页面获取的 IAM 角色名称,以及您的 AWS 账户的账户 ID。
- 创建.
下图快速演示了如何通过上述步骤创建数据访问策略。
设置 VPC 流日志
在本文的最后一步中,您为 VPC 启用流日志,目标为 Kinesis Data Firehose,它将数据发送到 OpenSearch Serverless。
- 导航到 AWS管理控制台.
- 搜索“VPC”,然后选择 您的 VPC 在搜索结果中(将鼠标悬停在 VPC 矩形以显示链接)。
- 选择 专有网络 ID 您的一个 VPC 的链接。
- 点击 流日志 标签,选择 创建流日志.
- 针对 名字,输入名称。
- 离开 筛选器 设置 所有类型. 您可以通过选择来限制流量 接受 or 拒绝.
- 下 目的地, 选择 在同一账户中发送至 Kinesis Firehose.
- 针对 Kinesis Firehose 传输流名称,选择
vpc-flow-logs
. - 创建流日志.
下图快速演示了如何按照上述步骤为您的 VPC 创建流日志。
使用 OpenSearch Dashboards 检查您集合中的 VPC 流日志数据
在配置数据访问之前,您将无法访问您的集合数据。 数据访问政策 允许用户访问集合中的实际数据。
要为 OpenSearch Dashboards 创建数据访问策略,请完成以下步骤:
- 导航到
vpc-flow-logs
OpenSearch 无服务器仪表板上的集合详细信息页面。 - 下 资料存取,选择 管理数据访问.
- 创建访问策略.
- 在 名称和描述 部分,指定访问策略名称,添加描述,然后选择 JSON 作为策略定义方法。
- 在 JSON 编辑器中添加以下策略。 提供您在策略中创建传输流期间指定的集合名称和索引。 此外,提供 IAM 用户和您的 AWS 账户的账户 ID。 你需要确保你有 AWS 访问和秘密密钥 对于您指定为 IAM 用户的委托人。
- 创建.
- 导航到 OpenSearch Serverless 并选择您创建的集合 (
vpc-flow-logs
). - 选择 OpenSearch Dashboards URL 并使用您在下面指定的用户的 IAM 访问密钥和密钥登录
Principal
. - 导航至 OpenSearch Dashboards 中的开发工具并运行以下查询以检索您的 VPC 的 VPC 流日志:
查询返回数据如下图所示,其中包含账号ID、接口ID、源IP地址、目的IP地址等信息。
创建仪表板
数据流入 OpenSearch Serverless 后,您可以轻松创建仪表板来监控 VPC 中的活动。 以下示例仪表板显示了总体流量、接受和拒绝的流量、传输的字节数以及一些包含顶级源和目标的图表。
清理
如果您不想继续使用该解决方案,请务必删除您创建的资源:
- 返回 AWS 控制台并在 VPC 部分中,禁用您的 VPC 的流日志。
- 在 OpenSearch Serverless 仪表板中,删除您的
vpc-flow-logs
采集。 - 在 Kinesis Data Firehose 控制台上,删除您的
vpc-flow-logs
交付流。
结论
在本文中,您创建了一个端到端的无服务器管道,以使用 Kinesis Data Firehose 将 VPC 流日志传送到 OpenSearch Serverless。 在此示例中,您为 VPC 流日志构建了一个传输管道,但您也可以使用 Kinesis Data Firehose 从 Amazon Kinesis数据流 和 亚马逊CloudWatch,然后可以将其发送到 OpenSearch 无服务器集合,以便对这些日志进行分析。 借助 AWS 上的无服务器解决方案,您可以专注于应用程序开发,而不必担心用于可视化日志的摄取管道和工具。
参加 OpenSearch Serverless 实践 开始使用 Amazon OpenSearch 无服务器 研讨会并检查其他管道以分析您的日志。
如果您对这篇文章有反馈,请在评论部分分享。 如果您对这篇文章有任何疑问,请在 亚马逊开放搜索服务论坛 or 联系 AWS 支持.
关于作者
Jon Handler (@_searchgeek) 是首席解决方案架构师 在位于加利福尼亚州帕洛阿尔托的 Amazon Web Services 工作。 Jon 与 CloudSearch 和 Elasticsearch 团队密切合作,为拥有想要迁移到 AWS 云的搜索工作负载的广大客户提供帮助和指导。 在加入 AWS 之前,Jon 作为软件开发人员的职业生涯包括四年的大型电子商务搜索引擎编码。
Prashant Agrawal 是 Amazon OpenSearch Service 的高级搜索专家解决方案架构师。 他与客户密切合作,帮助他们将工作负载迁移到云端,并帮助现有客户微调他们的集群以获得更好的性能并节省成本。 在加入 AWS 之前,他帮助各种客户将 OpenSearch 和 Elasticsearch 用于他们的搜索和日志分析用例。 不工作时,您会发现他在旅行和探索新地方。 简而言之,他喜欢做 Eat → Travel → Repeat。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/big-data/serverless-logging-with-amazon-opensearch-serverless-and-amazon-kinesis-data-firehose/
- 1
- 10
- 100
- 7
- a
- Able
- 关于
- ACCESS
- 账号管理
- 活动
- 另外
- 地址
- 所有类型
- 允许
- Amazon
- 亚马逊Kinesis
- 亚马逊网络服务
- 分析
- 分析
- 分析
- 分析
- 和
- 回答
- 应用领域
- 应用程序开发
- 尝试
- 自动
- AWS
- 背部
- 备份工具
- 基于
- before
- 更好
- 广阔
- 建立
- 建筑物
- 建
- CA
- 捕获
- 寻找工作
- 例
- 图表
- 查
- 选择
- 密切
- 云端技术
- 码
- 编码
- 采集
- 收藏
- 注释
- 完成
- 安慰
- 包含
- 继续
- 价格
- 情侣
- 创建信息图
- 创建
- 创造
- 创建
- 合作伙伴
- XNUMX月XNUMX日
- data
- 数据访问
- 交付
- 提供
- 交货
- 严格
- 描述
- 目的地
- 旅游目的地
- 详情
- 开发
- 开发商
- 研发支持
- 不同
- 做
- 别
- 向下
- 下降
- ,我们将参加
- 容易
- 吃
- 电子商务
- 编辑
- Elasticsearch
- enable
- 加密
- 端至端
- 端点
- 发动机
- 输入
- 醚(ETH)
- 甚至
- 例子
- 现有
- 探索
- 失败
- 高效率
- 反馈
- 少数
- 最后
- 终于
- 找到最适合您的地方
- 姓氏:
- 流
- 流动
- 专注焦点
- 以下
- 止
- 产生
- 得到
- 越来越
- GIF
- 给
- 去
- 大
- 动手
- 有
- 帮助
- 帮助
- 帮助
- 徘徊
- 创新中心
- HTML
- HTTPS
- IAM
- 身分
- in
- 包括
- 指数
- 指标
- 信息
- 基础设施
- 接口
- 接口
- IP
- IP地址
- IT
- 加盟
- JSON
- 保持
- 键
- Kinesis 数据流水线
- 大规模
- 发射
- 学习用品
- 极限
- Line
- 友情链接
- 寻找
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 管理的
- 机制
- 方法
- 迁移
- 分钟
- 显示器
- 更多
- 最先进的
- 移动
- 姓名
- 旅游导航
- 需求
- 网络
- 全新
- 下页
- 最多线路
- 一
- 附加选项
- 其他名称
- 最划算
- 己
- 拥有
- 帕洛阿尔托
- 面包
- 百分比
- 性能
- 允许
- 权限
- 管道
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 政策
- 热门
- 帖子
- 首选
- 校长
- 先
- 生产
- 提供
- 提供
- 优
- 国家
- 有疑问吗?
- 快速
- 范围
- 建议
- 记录
- 重复
- 代表
- 资源
- 资源
- 导致
- 回报
- 揭示
- 角色
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 运行
- 同
- 保存
- 鳞片
- 秤
- 搜索
- 搜索引擎
- 秘密
- 部分
- 选择
- 无服务器
- 服务
- 特色服务
- 集
- 设置
- 设置
- Share
- 短
- 应该
- 如图
- 作品
- 简易
- 单
- 软件
- 方案,
- 解决方案
- 一些
- 来源
- 来源
- 专家
- 具体的
- 指定
- 开始
- 开始
- 步
- 步骤
- 仍
- 存储
- 商店
- 流
- 流
- 顺利
- 这样
- SUPPORT
- 支持
- 采取
- 服用
- 队
- 其
- 通过
- 至
- 工具
- 最佳
- 交通
- 旅行
- 旅游
- true
- 转
- 下
- 相关
- 变幻莫测
- 网址
- 使用
- 用户
- 用户
- 各个
- 通过
- 想像
- 等待
- 演练
- 卷筒纸
- Web服务
- 这
- WHO
- 将
- 中
- 也完全不需要
- 工作流程
- 加工
- 合作
- 车间
- 工作坊
- 写
- 年
- 您一站式解决方案
- 和风网