更新时间:2022-08-13 21:11:37
日志数据完成采集及解析后,系统会依据日志类型匹配对应日志库,匹配成功后将依据索引创建规则及分片数,自动创建对应的索引;同时日志库管理中还支持日志库生命周期以及热温数据迁移策略配置。
进入数据源>日志库管理>日志库页面,在此页面可以对日志库进行新建、删除/批量删除、编辑、查看、导入/导出操作。


注意:删除日志库操作不可逆,故请谨慎操作。
► 创建日志库
• 手动创建日志库
1) 进入数据源>日志库管理>日志库页面,点击【+新建】进入创建日志库页面,如下所示:


 
元素名称 元素说明 限制条件
*日志库名称 设置日志库名称,用于区别不同日志库的标识 名称需保证全局唯一
标签 设置日志库对应的日志标签(tags) -
*日志类型 设置日志库对应的日志数据类型(type) 不允许以 ~  ` ! @ $ ^ & ( ) _ = 字符开头,且不允许输入大写字母
*索引创建规则 设置索引的创建周期,支持按每日/每月/每年进行创建,并依据创建规则生成索引名称 -
*分片数 设置索引总存储空间容量大小
说明:当索引空间达到总存储空间容量后,索引名称递增后缀,默认从 0 开始递增,例如:mysql-2020.06-0、mysql-2020.06-1......
单分片数存储容量为 15~30GB
     
注意:为避免系统数据量与索引分配分片数不合理,而导致存储空间不足或浪费的情况,请结合实际情况,按照索引创建的时间区间合理规划空间。业务数据量、索引创建规则以及分片数配置,可参考下表示例:
业务数据量(天) 索引创建规则 分片数 存储空间
data≥90GB 类型-年.月.日 4 120GB
60GB≤data<90GB 类型-年.月.日 3 90GB
30GB≤data<60GB 类型-年.月.日 2 60GB
2GB≤data<30GB 类型-年.月.日 2 40GB
1GB≤data<2GB 类型-年.月 1 15GB
500MB≤data<1GB 类型-年.月 1 15GB
100MB≤data<500MB 类型-年.月 1 15GB
data<100MB 类型-年 1 15GB
2) 填写模板配置剩余配置参数,如下所示:
元素名称 元素说明 限制条件
*热数据副本数 设置使用该日志库的索引热数据备份数量 最小值为 0
*生命周期 设置使用该日志库的索引的保存周期 -
全文索引 设置全文索引状态,包含 2 种状态:开启/关闭
注意:开启全文索引会增加存储成本,增加搜索处理结果的反馈时间
-
字段设置 设置修改已解析字段的字段名以及字段类型 不允许对元数据字段进行修改操作
3) 配置热温迁移配置参数,如下所示:
元素名称 元素说明 限制条件
*迁移策略 设置热数据迁移至温数据的数据范围,如:默认将 3 个月前的热数据将迁移至温数据 若以月为单位,每月时间默认为 30 天
*温数据副本数 设置从热数据迁移至温数据的备份数量 副本数范围 0~3 个,默认为 0
4) 点击【保存】完成日志库创建。
• 自动创建日志库 
若在索引定时检测过程中,发现无法找到匹配日志类型的日志库,则系统将自动创建与该索引数据类型相匹配的新日志库。自动创建日志库默认参数如下:
参数名称 参数说明
日志库名称 数据类型+日志库,如:数据类型为 mysql,则生成的日志库名称为 mysql-日志库
索引创建规则 类型-年.月
分片数 3
分片数大小 30GB
副本数 1
生命周期 999年
全文检索 开启
迁移策略 热数据 3 月后迁移至温热数据
温数据副本数 1 个
► 编辑/删除日志库
进入数据源>日志库管理>日志库页面,选中目标日志库,点击【编辑】/【删除】按钮,即可对所选日志库进行编辑或删除操作。 

 注意:
 1. 系统内置日志库不允许进行编辑操作;
2. 若日志库已绑定非空索引,则不允许修改日志库-日志类型配置项;
3. 若删除日志库时,日志库已绑定非空索引,则不允许进行日志库删除操作。

► 查看日志库
进入数据源>日志库管理>日志库页面,选中目标日志库,在操作列中点击【查看】打开查看抽屉,在日志库详情页面可查看日志库基本信息、模板配置参数以及热温数据任务执行配置参数 ,如下所示:

► 导入/导出日志库
• 导出日志库:在日志库列表页面,勾选需导出的日志库,点击导出按钮,即可导出日志库(.json)文件;
• 导入日志库:在日志库列表页面,点击导入按钮,在打开窗口中选择需导入的日志文件(.json),点击【打开】即可实现导入操作。
► 日志库排序
支持通过日志库名称、当前日志库存储量以及创建时间对日志库列表进行升降序排列。