更新时间:2024-03-12 17:21:33

系统完成数据的采集及解析后,会将数据写入指定索引库并生成对应索引。您可在索引库管理模块进行索引库的统一管理,包括创建、查看、编辑、手动轮转、导入/导出索引库等,具体操作说明如下:

► 创建索引库

进入数据管理>数据存储>索引库>索引库管理页面,如下所示:

点击【+新建】进入“新建索引库”页面,具体配置步骤如下:

1. 配置基本信息

“基本配置”配置参数说明如下:

元素名称 元素说明 限制条件
*索引库名称

设置索引库名称,用于区别不同索引库,此名称全局唯一。

说明:完成索引库的配置后,不能修改此配置项。

• 索引库名称不能重复,且不能为空;

• 索引库名称需为全小写英文,可以使用~、`、!、@、$、^、&、(、)、_、=字符,但不能以这些字符开头;

• ≤40个字符

*索引库类型

设置索引库类型(base_type),用于生成索引别名,全局唯一。此处配置的别名可以指向一个索引,系统将根据此别名将数据写入指向的索引。

说明:完成索引库的配置后,不能修改此配置项。

• 索引库类型不能重复,且不能为空;

• 索引库类型需为全小写,仅可包含英文、数字、下划线,且需要以英文开头;

• ≤40个字符

标签
根据实际需求设置索引库的标签信息,用于业务标识或业务分组,可通过回车键添加多个标签。 • 最多支持创建5个标签
备注 根据实际需求填写索引库的其他属性信息。 • ≤255个字符
     

2. 配置字段模型信息

在字段模型配置下拉框中选择字段模型,可直接引用字段模型中已定义的数据结构信息,搭建索引库。

注意:字段模型为必选项,不能为空;下拉框中可选的字段模型为系统中所有已创建的字段模型,若未找到所需字段模型,可进入字段模型管理模块创建。

3. 配置索引库

进入“高级配置”区域,配置界面如下所示:

元素名称 元素说明 限制条件
主分片 设置将索引数据均衡分布的节点数量,建议根据集群中的节点数量设置主分片数,或以节点数1-3倍的原则来设置主分片数,默认主分片数为3。可参考下方的参数示例进行配置。 • 主分片不能为空
主分片大小

设置每个主分片的存储空间,可选项:15GB、20GB、25GB、30GB,默认为30GB。可参考下方的参数示例进行配置。

说明:主分片大小会影响索引的查询速度及性能。大容量的主分片可以存储更多的数据,但会消耗更多的资源来实现数据的查询检索;较小容量的主分片可以有更高的查询性能,但需更多的主分片来容纳相同数据量。建议根据实际用例和性能需求进行配置,以有效拓展存储容量的同时提高查询性能。

-
热数据副本数

设置访问频率较高数据的备份数量,可选项:0、1、2,默认为1。

说明:增加副本数可以提高热数据的可用性、容错性及安全性,但也会增加存储成本和资源开销。建议综合考量对查询性能、可用性及可用存储空间的需求后进行配置。

• 热数据副本数不能为空
刷新间隔

设置索引库更新索引数据的时间间隔,刷新时间间隔需>0,可选单位:秒、毫秒、分钟(s,ms,m),默认为120秒(s)。

说明:增大刷新间隔可以优化数据入库性能,但会带来查询搜索的延迟。建议综合考量对写入性能及查询性能的需求后进行配置。

• 刷新间隔不能为空;

• 刷新间隔需>0;

字段上限

设置索引库中可创建的字段数量上限,默认为2000。

说明:建议根据实际需求场景中的硬件、内存及配置等资源条件限制进行配置,以确保不超出系统容量和性能限制的同时,满足数据存储和检索的需求。

• 字段上限不能为空;

• 字段上限需设置在1000-10000之间

热温迁移策略 设置将热数据(访问频率较高的数据)转为温数据(访问频率较低的数据)的数据范围,以降低存储成本,提高性能。热温迁移策略需填写>0的整数,可选时间单位:年、月、周、日,默认为3月。

• 热温迁移策略需设置为>0的整数;

• 若以月为单位,每月时间默认为 30 天

温数据副本数

设置相对访问频率较低数据的备份数量,可选项:0、1、2,默认为0。

说明:针对数据访问频率较低的数据,可降低其备份数,建议设置为0。

-
轮转周期配置 设置索引库进行轮转的时间间隔,以避免因索引过大导致检索性能下降。可选项:日、月、年、不论转,默认为月,系统将在每天、每月、每年执行轮转或不论转。

-

生命周期配置 设置索引从创建到被删除的时间,如生命周期设置为1日,则索引创建1天后将被删除。生命周期需设置为>0的整数,可选时间单位:年、月、周、日,默认为1年。

• 生命周期需设置为>0的整数;

• 若以月为单位,每月时间默认为 30 天

注意:为避免系统数据量与索引分配分片数不合理,而导致存储空间不足或浪费的情况,请结合实际情况,按照索引创建的时间区间合理规划空间。您可参考下表示例,根据业务数据量、索引创建规则完成主分片数、主分片大小的配置:
业务数据量(天) 索引创建规则 分片数 主分片大小(存储空间)
data≥90GB 类型-年.月.日 4 120GB
60GB≤data<90GB 类型-年.月.日 3 90GB
30GB≤data<60GB 类型-年.月.日 2 60GB
2GB≤data<30GB 类型-年.月.日 2 40GB
1GB≤data<2GB 类型-年.月 1 15GB
500MB≤data<1GB 类型-年.月 1 15GB
100MB≤data<500MB 类型-年.月 1 15GB
data<100MB 类型-年 1 15GB

► 其他管理操作

进入索引库管理配置页面,可以实现索引库的手动轮转,查看索引库详情,删除、编辑指定索引库等操作,具体如下:

•  手动轮转索引库

索引库管理列表点击指定索引库"操作"列的”轮转“按钮,在弹出的提示窗口中,点击【确认】即可对索引库进行轮转操作。轮转成功后,则数据将会写入到新的索引中,旧索引变为只读状态。

注意:若轮转过程中索引库服务或数据库发生异常,系统将等待服务恢复正常后,继续进行轮转。轮转成功与否,均可以在审计日志中查看相应日志。

•  查看索引库详情信息

索引库管理列表点击指定索引库"操作"列的“查看”按钮,可在详情抽屉中查看此索引库的基本信息、运行状态信息、索引模板配置参数、引用的字段模型的字段信息等,如下所示:

•  编辑/删除索引库

索引库管理列表,选中目标索引库后点击"操作"列的“编辑”/“删除”按钮,系统将分别执行对应操作。

说明:

1. 修改索引库时,不支持修改"索引库名称"、"索引库类型";

2. 删除索引库操作不可逆,请谨慎操作!若删除了已被数据采集模块/其他查询分析模块引用的索引库,将导致处于运行中的数据摄入任务存有数据丢失风险/无法进行相关数据的查询。

3. 索引库被删除后,您可在审计日志中查看相应的“删除”日志。