更新时间：2022-08-13 21:23:29
Apache Kafka 是一个开源的分布式消息系统，许多企业会使用 Kafka 来实现高性能数据管道、数据流分析、数据集成等功能，其数字化系统中会存在大量的 Kafka 客户端。因此，Kafka 客户端中会存在大量的可分析数据，运维人员可通过 Kafka 客户端以 Kafka 协议方式将数据发送至 AnyRoboot 的 Kafka 服务端集群，实现 Kafka 日志采集。
AnyRobot 侧可通过 NodePort 开放 Kafka 服务端集群的外部网络访问限制，实现 Kafka 协议数据接收。
注意：Kafka 日志采集仅支持 Kafka 2.3.1 及以上版本客户端。
Kafka 日志采集配置流程如下：
1. 创建 NodePort 服务：
在 AnyRobot 侧各 Kafka 节点创建对应的 NodePort 服务，为每个 Kafka 节点配置外部可访问 IP 地址并分配 NodePort 类型服务端口；如需扩展 Kafka 节点，需手动增加对应的NodePort 服务；
2. 修改 Kafka 客户端配置文件，在 Kafka 客户端侧通过第 1 步中已配置的外部可访问 IP 地址及 NodePort 端口与 AnyRobot 实现通信；
3. 接收 Kafka 日志：
在 Kafka 客户端侧运维人员可自定义需发送至 AnyRobot 的 Topic，AnyRobot 接收的 Kafka 数据的日志类型默认为该数据对应的 Topic 名称。
说明：
1. Kafka 日志采集配置流程，详细请参见《AnyRobot 平台实施指导手册》；
2. Kafka 客户端配置 Topic 名称时，不允许以系统已有的 Topic 名称开头，系统已有 Topic 名称包含：kafka_topic、anyrobot_flink、anyrobot_flink_config、alert_rule_intermediate、k8s_event、k8s_log、reindex_source、reindex_result。