系统完成数据的采集及解析后,会将数据写入指定索引库并生成对应索引。您可在索引库管理模块进行索引库的统一管理,包括创建、查看、编辑、手动轮转、导入/导出索引库等,具体操作说明如下:
► 创建索引库
进入数据管理>数据存储>索引库>索引库管理页面,如下所示:
![](https://assets.aishu.cn/images/edc958577c7e76712b9e7fa3d35cab50.png)
点击【+新建】进入“新建索引库”页面,具体配置步骤如下:
1. 配置基本信息
![](https://assets.aishu.cn/images/a697c68a6d9b4dce5e415384a6fdc832.png)
“基本配置”配置参数说明如下:
元素名称 |
元素说明 |
限制条件 |
*索引库名称 |
设置索引库名称,用于区别不同索引库,此名称全局唯一。
说明:完成索引库的配置后,不能修改此配置项。
|
• 索引库名称不能重复,且不能为空;
• 索引库名称需为全小写英文,可以使用~、`、!、@、$、^、&、(、)、_、=字符,但不能以这些字符开头;
• ≤40个字符
|
*索引库类型 |
设置索引库类型(base_type),用于生成索引别名,全局唯一。此处配置的别名可以指向一个索引,系统将根据此别名将数据写入指向的索引。
说明:完成索引库的配置后,不能修改此配置项。
|
• 索引库类型不能重复,且不能为空;
• 索引库类型需为全小写,仅可包含英文、数字、下划线,且需要以英文开头;
• ≤40个字符
|
标签
|
根据实际需求设置索引库的标签信息,用于业务标识或业务分组,可通过回车键添加多个标签。 |
• 最多支持创建5个标签 |
备注 |
根据实际需求填写索引库的其他属性信息。 |
• ≤255个字符 |
2. 配置字段模型信息
在字段模型配置下拉框中选择字段模型,可直接引用字段模型中已定义的数据结构信息,搭建索引库。
注意:字段模型为必选项,不能为空;下拉框中可选的字段模型为系统中所有已创建的字段模型,若未找到所需字段模型,可进入字段模型管理模块创建。
3. 配置索引库
进入“高级配置”区域,配置界面如下所示:
![](https://assets.aishu.cn/images/dac11018abf4ce83dfff5b0acf1e82ed.png)
元素名称 |
元素说明 |
限制条件 |
主分片 |
设置将索引数据均衡分布的节点数量,建议根据集群中的节点数量设置主分片数,或以节点数1-3倍的原则来设置主分片数,默认主分片数为3。可参考下方的参数示例进行配置。 |
• 主分片不能为空 |
主分片大小 |
设置每个主分片的存储空间,可选项:15GiB、20GiB、25GiB、30GiB,默认为30GiB。可参考下方的参数示例进行配置。
说明:主分片大小会影响索引的查询速度及性能。大容量的主分片可以存储更多的数据,但会消耗更多的资源来实现数据的查询检索;较小容量的主分片可以有更高的查询性能,但需更多的主分片来容纳相同数据量。建议根据实际用例和性能需求进行配置,以有效拓展存储容量的同时提高查询性能。
|
- |
热数据副本数 |
设置访问频率较高数据的备份数量,可选项:0、1、2,默认为1。
说明:增加副本数可以提高热数据的可用性、容错性及安全性,但也会增加存储成本和资源开销。建议综合考量对查询性能、可用性及可用存储空间的需求后进行配置。
|
• 热数据副本数不能为空 |
刷新间隔 |
设置索引库更新索引数据的时间间隔,刷新时间间隔需>0,可选单位:秒、毫秒、分钟,默认为120秒。
说明:增大刷新间隔可以优化数据入库性能,但会带来查询搜索的延迟。建议综合考量对写入性能及查询性能的需求后进行配置。
|
• 刷新间隔不能为空;
• 刷新间隔需>0;
|
字段上限 |
设置索引库中可创建的字段数量上限,默认为2000。
说明:建议根据实际需求场景中的硬件、内存及配置等资源条件限制进行配置,以确保不超出系统容量和性能限制的同时,满足数据存储和检索的需求。
|
• 字段上限不能为空;
• 字段上限需设置在1000-10000之间
|
热温迁移策略 |
设置将热数据(访问频率较高的数据)转为温数据(访问频率较低的数据)的数据范围,以降低存储成本,提高性能。热温迁移策略需填写>0的整数,可选时间单位:年、月、周、日,默认为3月。 |
• 热温迁移策略需设置为>0的整数;
• 若以月为单位,每月时间默认为 30 天
|
温数据副本数 |
设置相对访问频率较低数据的备份数量,可选项:0、1、2,默认为0。
说明:针对数据访问频率较低的数据,可降低其备份数,建议设置为0。
|
- |
轮转周期配置 |
设置索引库进行轮转的时间间隔,以避免因索引过大导致检索性能下降。可选项:日、月、年、不论转,默认为月,系统将在每天、每月、每年执行轮转或不论转。 |
-
|
生命周期配置 |
设置索引从创建到被删除的时间,如生命周期设置为1日,则索引创建1天后将被删除。生命周期需设置为>0的整数,可选时间单位:年、月、周、日,默认为1年。 |
• 生命周期需设置为>0的整数;
• 若以月为单位,每月时间默认为 30 天
|
注意:为避免系统数据量与索引分配分片数不合理,而导致存储空间不足或浪费的情况,请结合实际情况,按照索引创建的时间区间合理规划空间。您可参考下表示例,根据业务数据量、索引创建规则完成主分片数、主分片大小的配置:
业务数据量(天) |
索引创建规则 |
分片数 |
主分片大小(存储空间) |
data≥90GB |
类型-年.月.日 |
4 |
120GB |
60GB≤data<90GB |
类型-年.月.日 |
3 |
90GB |
30GB≤data<60GB |
类型-年.月.日 |
2 |
60GB |
2GB≤data<30GB |
类型-年.月.日 |
2 |
40GB |
1GB≤data<2GB |
类型-年.月 |
1 |
15GB |
500MB≤data<1GB |
类型-年.月 |
1 |
15GB |
100MB≤data<500MB |
类型-年.月 |
1 |
15GB |
data<100MB |
类型-年 |
1 |
15GB |
► 其他管理操作
进入索引库管理配置页面,可以实现索引库的手动轮转,查看索引库详情,删除、编辑指定索引库等操作,具体如下:
• 手动轮转索引库
在索引库管理列表,点击指定索引库"操作"列的”轮转“按钮,在弹出的提示窗口中,点击【确认】即可对索引库进行轮转操作。轮转成功后,则数据将会写入到新的索引中,旧索引变为只读状态。
![](https://assets.aishu.cn/images/bf036f57a4ad01a308c89cfdcef88b05.png)
注意:若轮转过程中索引库服务或数据库发生异常,系统将等待服务恢复正常后,继续进行轮转。轮转成功与否,均可以在审计日志中查看相应日志。
• 查看索引库详情信息
在索引库管理列表,点击指定索引库"操作"列的“查看”按钮,可在详情抽屉中查看此索引库的基本信息、运行状态信息、索引模板配置参数、引用的字段模型的字段信息等,如下所示:
![](https://assets.aishu.cn/images/5c885b03f56cc8ee18d9215b87856ce7.png)
• 编辑/删除索引库
在索引库管理列表,选中目标索引库后点击"操作"列的“编辑”/“删除”按钮,系统将分别执行对应操作。
说明:
1. 修改索引库时,不支持修改"索引库名称"、"索引库类型";
2. 删除索引库操作不可逆,请谨慎操作!若删除了已被数据采集模块/其他查询分析模块引用的索引库,将导致处于运行中的数据摄入任务存有数据丢失风险/无法进行相关数据的查询。
3. 索引库被删除后,您可在审计日志中查看相应的“删除”日志。