更新时间:2024-09-02 17:05:34

AnyRobot 索引库策略管理模块提供了包含索引热阶段、温阶段、删除阶段的生命周期管理功能,包括索引库策略的创建(手动创建批量导入创建)、查看索引库策略详情删除、修改导出索引库策略等管理操作。

通过创建索引库策略,您可以预先定义索引处于各生命周期阶段的留存条件,定义何时及如何执行索引的轮转、删除等操作,以方便后续在创建索引库时直接引用。具体创建配置操作如下:

› 创建索引库策略

提示:您可以参照下方配置说明手动创建所需索引库策略,也可以导入包含索引库策略配置参数的合规文件批量创建索引库策略

快速阅读链接:

1. 配置索引库策略的基本信息

2. 配置索引库缓存数据的删除策略

3. 配置索引轮转策略

4. 配置索引热阶段策略

5. 配置索引温阶段策略

6. 配置索引删除阶段策略

 

进入数据管理 > 数据存储 > 索引库 > 索引库策略 页面,点击索引库策略管理列表上方的【+新建】按钮,进入“新建索引库策略”配置页面。如下所示:

1. 配置基本信息

“基本配置”的参数说明如下:

元素名称 元素说明 限制条件

*索引库策略名称

设置索引库策略名称,用于区别不同索引库策略,此名称全局唯一。

• 索引库策略名称不能重复,且不能为空;

• 索引库策略名称需为全小写英文,可以使用~、`、!、@、$、^、&、(、)、_、=字符,但不能以这些字符开头;

• ≤40个字符

标签

根据实际需求设置索引库策略的标签信息,用于业务标识或业务分组,可通过回车键添加多个标签。

• 标签不能包含 /:?\"<>|:?‘’“”!《》,#[]{}%&*$^!=.' 特殊字符;

• ≤40个字符;

• 最多支持创建5个标签

备注

根据实际需求填写索引库策略的其他属性信息。

• ≤255个字符

2. 配置缓存数据的删除策略

缓存指的是在写入索引库之前存储在 Kafka 中的数据,为避免 Kafka 因数据堆积而造成的存储压力,您可以在此处配置针对此类缓存数据的删除策略。具体如下:

“存储空间配置”的参数说明如下:

元素名称 元素说明 限制条件
*缓存保留时长限制

设置缓存数据最长保留时间,系统将会自动删除超过此时间限制的缓存数据,帮助定期清除旧数据,优化存储资源,维持系统良好的性能和响应速度。

缓存保留时长需配置为>0的整数,可选时间单位:小时、天,默认为7天。

• 缓存保留时长限制不能为空
*缓存保留大小限制

设置缓存数据最大保留数据量,超过此容量限制后,系统将从最旧的数据开始,自动删除此类缓存数据。以防止因数据量过多而导致的性能下降问题。

缓存保留大小限制默认处于关闭状态,开启后,需设置具体的缓存保留大小限额。配置时需填写>0的整数,可选存储容量单位:GiB,默认为100GiB

-

提示:

1. 数据接入缓存后,满足上述任意一个条件后将会被删除;

2. 缓存数据在写入索引库后,将立即进入"热阶段"。

3. 配置索引库轮转策略

进入索引库“轮转配置”区域,配置界面如下所示:

当索引满足以下任一一个轮转条件时,系统会自动创建一个新的索引,进行索引轮转。以保证检索查询性能的同时,防止存储资源的浪费。关于“轮转配置”的参数说明,具体如下:

元素名称 元素说明 限制条件
*轮转分片大小

设置索引库进行轮转的最大分片容量。当索引库分片存储的索引达到这一容量时,系统会自动创建新的索引进行轮转,以避免单个索引因数据量过大而导致性能下降,同时也防止索引过小导致资源浪费。可选项:15GiB、20GiB、25GiB、30GiB,默认为15GiB。可参考下方的参数示例进行配置。

说明:分片大小会影响索引的查询速度及性能。大容量分片可以存储更多的索引数据,但同时也会消耗更多的资源来实现数据查询检索;较小容量的分片可以有更高的查询性能,但需更多的分片来容纳相同数据量。建议根据实际用例和性能需求进行配置,有效利用存储容量的同时提高查询性能。

• 轮转分片大小不能为空
*轮转周期

设置索引库进行轮转的时间间隔,以避免因索引过大导致检索性能下降。轮转周期-固定时长:天、周、月、年,默认为月,轮转周期-日历时间:每月1日,每年1月1日,每周1。

• 轮转周期不能为空

*轮转文档数

设置索引库进行轮转的最大文档数量。当索引库存储的文档数量大于这一参数时,系统会自动创建新的索引进行轮转,避免因数据量过大导致性能下降。可选单位:亿,默认为10亿。

• 轮转文档数不能为空

注意:为避免系统数据量与索引分片大小不合理,而导致存储空间不足或浪费的情况,您可参考下表示例,并结合实际情况完成轮转分片大小的配置:

业务数据量(天)
分片数
主分片大小(存储空间)
data≥90GB
4
120GB
60GB≤data<90GB
3
90GB
30GB≤data<60GB
2
60GB
2GB≤data<30GB
2
40GB
1GB≤data<2GB
1
15GB
500MB≤data<1GB
1
15GB
100MB≤data<500MB
1
15GB
data<100MB
1
15GB

4. 配置热阶段策略

进入“热阶段配置”区域,配置界面如下所示:

热索引是指最近被频繁写入和访问的索引,处于热阶段的索引对于实时查询和分析操作的实现至关重要。因此,处于热阶段的数据通常存储在性能较高、成本较高的存储介质上。

索引库策略中的热阶段策略主要关注热索引的轮转策略,用于确保索引的高效写入和查询性能。“热阶段配置”的参数说明如下:

元素名称 元素说明 限制条件
*热索引保留时间

设置索引在热阶段保持活跃状态的时间长度,此保留时间是从索引写入时间点开始计算的。当索引自开始写入以来达到此处配置的保留时间段,则会触发索引库的轮转操作,新创建的索引将继续接收新的数据,旧索引将进入下一个生命周期阶段,即温索引阶段。热索引保留时间需填写>0的整数,可选时间单位:年、月、周、日,默认为3月。

• 热索引保留时间不能为空

*热索引副本数

设置存储热索引(即访问频率较高的索引)的备份数量,可选项:0、1、2,默认为1。

说明:增加热索引副本数可以提高热索引的可用性、容错性及安全性,但也会增加存储成本和资源开销。建议综合考量对查询性能、可用性及可用存储空间的需求后,再进行配置。

• 热数据副本数不能为空

5. 配置温阶段策略

进入“温阶段配置”区域,配置界面如下所示:

索引进入温阶段,表示此类索引不再进行写入操作,但存有较低频率的查询需求。对于处于温阶段的索引,仍然需要提供一定的性能支持,以满足偶尔的查询需求。因此,为了减少成本,处于此阶段的数据通常存在在性能较低、成本较低的存储介质上。

索引库策略中的温阶段策略关注温索引的轮转策略,用于确保索引保持一定性能的同时降低存储成本。“温阶段配置”的参数说明如下:

元素名称 元素说明 限制条件
*温索引保留时间 针对访问频率较低,但仍然需要保持一定的可访问性和性能的索引,设置索引处于此阶段的时间长度。当索引自开始写入以来达到此处配置的保留时长,则会触发索引库的轮转操作,新创建的索引将继续接收新的数据,旧索引将进入下一个生命周期阶段,即删除阶段。温索引保留时间需填写>0的整数,可选时间单位:年、月、周、日,默认为3月。

• 温索引保留时间不能为空

*温索引副本数

设置存储温索引(即相对访问频率较低索引)的备份数量,可选项:0、1、2,默认为0。

说明:针对数据访问频率较低的索引,可降低其备份数,建议设置为0。

• 温索引副本数不能为空

6. 配置删除阶段策略

进入“删除阶段配置”区域,配置界面如下所示:

随着数据的过时和访问需求的降低,数据业务价值也将流逝。索引库策略中的删除阶段策略主要用于安全、高效地清理无用数据,以及时释放存储空间资源。针对处于删除阶段的索引,若有立即删除的需求,您可以点击是否开启“启用删除阶段”的开关,将其切换至“”状态。配置成功后,引用此策略的索引库将立即删除进入删除阶段的索引。

 

› 批量导入创建索引库策略

除了手动配置,您也可以基于索引库策略的导入功能批量创建索引库策略。

进入索引库策略配置页面,点击列表上方的【导入】按钮,在弹出的窗口中选中包含索引库策略配置信息的文件,点击【打开】后即可批量导入并创建索引库策略。

注意:

1. 仅支持导入json格式的文件;

2. 支持同时导入多个索引库策略。导入过程中,若AnyRobot中存有重名的索引库策略对象,则导入动作将会停止,整个导入操作失败;

3. 批量导入失败后,您可在审计日志中查看对应的“失败”记录。

›  其他管理操作

完成索引策略的创建操作后,您可以进入 数据管理 > 数据存储 > 索引库 > 索引库策略 配置页面,在索引库策略管理列表中查看系统当前已存的所有索引库策略。支持对指定索引库策略进行修改、删除导出查看策略配置详情等操作。如下所示:

相关操作说明如下:

› 查看索引库策略配置详情

索引库策略管理列表中,点击指定索引库策略对应“操作”列的“查看”按钮,您可以在界面右侧弹出的“索引库策略详情”抽屉中查看此索引库策略的配置详情,包括索引库策略的基本配置信息、存储空间、轮转策略、热阶段策略、温阶段策略、删除阶段策略等配置信息。如下所示:

› 编辑/删除索引库策略 

索引库策略管理列表中,点击指定索引库策略对应“操作”列的“编辑/删除”按钮,您可以修改/删除此策略。

需注意:进行删除操作时:支持删除已被系统其他模块引用的索引库策略,删除后,引用该策略的其他模块将会报错;不支持删除系统默认的索引库策略;您可以在审计日志中查看相应的“删除”日志。

› 导出索引库策略 

索引库策略管理列表中勾选指定索引库策略后,点击列表上方的【导出】按钮,即可将已创建的索引库策略以“.json”格式导出,方便供其他场景快速应用。

提示:支持同时导出多个索引库策略。