调整分片数据保留大小
第1步 在任意一个master节点上执行以下命令, 批量设置kafka中主题default.ar.raw.*每个分片的数据保留大小为5G(解析前数据),如下图所示:
kubectl exec -it -n resource kafka-0 -- /bin/sh -cx '\
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
--list | grep "default\.ar\.raw\." | xargs -I {} \
/opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
--entity-type topics --entity-name {} --alter --add-config retention.bytes=5368709120'
修改解析前数据分片保留大小:
第2步 在任意一个master节点上执行以下命令, 批量设置kafka中主题default.ar.process.*每个分片的数据保留大小为200MB(解析后数据),如下图所示:
kubectl exec -it -n resource kafka-0 -- /bin/sh -cx '\
/opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
--list | grep "default\.ar\.process\." | xargs -I {} \
/opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
--entity-type topics --entity-name {} --alter --add-config retention.bytes=209715200'
修改解析后数据分片保留大小: