更新时间:2024-09-27 15:06:56
  • 问题描述:启用存在添加数据库数据解析方法的解析规则,Logstash-filter一直报错,且长时间不消费数据,具体报错如下:

  • 问题原因:

    当解析规则(含有添加数据库数据解析方法)执行计划过于频繁,启用含有添加数据库数据解析方法的解析规则过多、或者同时启用含有添加数据库数据解析方法的解析规则和多个含有GEO解析方法的解析规则,可能会导致Logstash-filter加载本地缓存表加载不过来,日志报错。

  • 解决方法:
  1. 修改解析规则(含有添加数据库数据解析方法)的执行计划,执行计划不要过于频繁;
  2. 增加Logstash-filter的JVM内存(可通过执行性能优化脚本实现或者直接在KubeSphere上修改Logstash-filter的JVM内存)