更新时间:2022-08-12 11:26:34
Apache Kafka 是一个开源的分布式消息系统,许多企业会使用 Kafka 来实现高性能数据管道、数据流分析、数据集成等功能,其数字化系统中会存在大量的 Kafka 客户端。因此,Kafka 客户端中会存在大量的可分析数据,运维人员可通过 Kafka 客户端以 Kafka 协议方式将数据发送至 AnyRoboot 的 Kafka 服务端集群,实现 Kafka 日志采集。
AnyRobot 侧可通过 NodePort 开放 Kafka 服务端集群的外部网络访问限制,实现 Kafka 协议数据接收。

注意:Kafka 日志采集仅支持 Kafka 2.3.1 及以上版本客户端。
Kafka 日志采集配置流程如下:
1. 创建 NodePort 服务:
在 AnyRobot 侧各 Kafka 节点创建对应的 NodePort 服务,为每个 Kafka 节点配置外部可访问 IP 地址并分配 NodePort 类型服务端口;如需扩展 Kafka 节点,需手动增加对应的NodePort 服务;
2. 修改 Kafka 客户端配置文件,在 Kafka 客户端侧通过第 1 步中已配置的外部可访问 IP 地址及 NodePort 端口与 AnyRobot 实现通信;
3. 接收 Kafka 日志:
在 Kafka 客户端侧运维人员可自定义需发送至 AnyRobot 的 Topic,AnyRobot 接收的 Kafka 数据的日志类型默认为该数据对应的 Topic 名称。
说明:
1. Kafka 日志采集配置流程,详细请参见《AnyRobot 平台实施指导手册》;
2. Kafka 客户端配置 Topic 名称时,不允许以系统已有的 Topic 名称开头,系统已有 Topic 名称包含:kafka_topic、anyrobot_flink、anyrobot_flink_config、alert_rule_intermediate、k8s_event、k8s_log、reindex_source、reindex_result。