更新时间:2024-03-28 12:46:10

调整分片数据保留大小

第1步   在任意一个master节点上执行以下命令, 批量设置kafka中主题default.ar.raw.*每个分片的数据保留大小为5G(解析前数据),如下图所示:

kubectl exec -it -n resource kafka-0 -- /bin/sh -cx '\
  /opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
  --list | grep "default\.ar\.raw\." | xargs -I {} \
  /opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
  --entity-type topics --entity-name {} --alter --add-config retention.bytes=5368709120'

修改解析前数据分片保留大小:

第2步   在任意一个master节点上执行以下命令, 批量设置kafka中主题default.ar.process.*每个分片的数据保留大小为200MB(解析后数据),如下图所示:

kubectl exec -it -n resource kafka-0 -- /bin/sh -cx '\
  /opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
  --list | grep "default\.ar\.process\." | xargs -I {} \
  /opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9097 --command-config /opt/kafka/config/client.properties \
  --entity-type topics --entity-name {} --alter --add-config retention.bytes=209715200'

修改解析后数据分片保留大小: