AnyRobot 索引库策略管理模块提供了包含索引热阶段、温阶段、删除阶段的生命周期管理功能,包括索引库策略的创建(手动创建、批量导入创建)、查看索引库策略详情、删除、修改、导出索引库策略等管理操作。
通过创建索引库策略,您可以预先定义索引处于各生命周期阶段的留存条件,定义何时及如何执行索引的轮转、删除等操作,以方便后续在创建索引库时直接引用。具体创建配置操作如下:
提示:您可以参照下方配置说明手动创建所需索引库策略,也可以导入包含索引库策略配置参数的合规文件批量创建索引库策略。
快速阅读链接:
进入数据管理 > 数据存储 > 索引库 > 索引库策略 页面,点击索引库策略管理列表上方的【+新建】按钮,进入“新建索引库策略”配置页面。如下所示:
“基本配置”的参数说明如下:
缓存指的是在写入索引库之前存储在 Kafka 中的数据,为避免 Kafka 因数据堆积而造成的存储压力,您可以在此处配置针对此类缓存数据的删除策略。具体如下:
“存储空间配置”的参数说明如下:
提示:
1. 数据接入缓存后,满足上述任意一个条件后将会被删除;
2. 缓存数据在写入索引库后,将立即进入"热阶段"。
进入索引库“轮转配置”区域,配置界面如下所示:
当索引满足以下任一一个轮转条件时,系统会自动创建一个新的索引,进行索引轮转。以保证检索查询性能的同时,防止存储资源的浪费。关于“轮转配置”的参数说明,具体如下:
注意:为避免系统数据量与索引分片大小不合理,而导致存储空间不足或浪费的情况,您可参考下表示例,并结合实际情况完成轮转分片大小的配置:
业务数据量(天)
|
分片数
|
主分片大小(存储空间)
|
data≥90GB
|
4
|
120GB
|
60GB≤data<90GB
|
3
|
90GB
|
30GB≤data<60GB
|
2
|
60GB
|
2GB≤data<30GB
|
2
|
40GB
|
1GB≤data<2GB
|
1
|
15GB
|
500MB≤data<1GB
|
1
|
15GB
|
100MB≤data<500MB
|
1
|
15GB
|
data<100MB
|
1
|
15GB
|
进入“热阶段配置”区域,配置界面如下所示:
热索引是指最近被频繁写入和访问的索引,处于热阶段的索引对于实时查询和分析操作的实现至关重要。因此,处于热阶段的数据通常存储在性能较高、成本较高的存储介质上。
索引库策略中的热阶段策略主要关注热索引的轮转策略,用于确保索引的高效写入和查询性能。“热阶段配置”的参数说明如下:
进入“温阶段配置”区域,配置界面如下所示:
索引进入温阶段,表示此类索引不再进行写入操作,但存有较低频率的查询需求。对于处于温阶段的索引,仍然需要提供一定的性能支持,以满足偶尔的查询需求。因此,为了减少成本,处于此阶段的数据通常存在在性能较低、成本较低的存储介质上。
索引库策略中的温阶段策略关注温索引的轮转策略,用于确保索引保持一定性能的同时降低存储成本。“温阶段配置”的参数说明如下:
提示:配置冷阶段有前置条件,需要配置一个可用的快照仓库
进入“温阶段配置”区域,配置界面如下所示:
索引进入冷阶段,表示此类索引不再进行写入操作,有很低低频率的查询需求。对于处于冷阶段的索引,仍然需要提供一定的性能支持,以满足偶尔的查询需求。处于此阶段的数据通常存在在外部的存储介质上(NFS)。
进入“删除阶段配置”区域,配置界面如下所示:
随着数据的过时和访问需求的降低,数据业务价值也将流逝。索引库策略中的删除阶段策略主要用于安全、高效地清理无用数据,以及时释放存储空间资源。针对处于删除阶段的索引,若有立即删除的需求,您可以点击是否开启“启用删除阶段”的开关,将其切换至“”状态。配置成功后,引用此策略的索引库将立即删除进入删除阶段的索引。
除了手动配置,您也可以基于索引库策略的导入功能批量创建索引库策略。
进入索引库策略配置页面,点击列表上方的【导入】按钮,在弹出的窗口中选中包含索引库策略配置信息的文件,点击【打开】后即可批量导入并创建索引库策略。
注意:
1. 仅支持导入json格式的文件;
2. 支持同时导入多个索引库策略。导入过程中,若AnyRobot中存有重名的索引库策略对象,则导入动作将会停止,整个导入操作失败;
3. 批量导入失败后,您可在审计日志中查看对应的“失败”记录。
› 其他管理操作
完成索引策略的创建操作后,您可以进入 数据管理 > 数据存储 > 索引库 > 索引库策略 配置页面,在索引库策略管理列表中查看系统当前已存的所有索引库策略。支持对指定索引库策略进行修改、删除、导出、查看策略配置详情等操作。如下所示:
相关操作说明如下:
在索引库策略管理列表中,点击指定索引库策略对应“操作”列的“查看”按钮,您可以在界面右侧弹出的“索引库策略详情”抽屉中查看此索引库策略的配置详情,包括索引库策略的基本配置信息、存储空间、轮转策略、热阶段策略、温阶段策略、删除阶段策略等配置信息。如下所示:
在索引库策略管理列表中,点击指定索引库策略对应“操作”列的“编辑/删除”按钮,您可以修改/删除此策略。
需注意:进行删除操作时:支持删除已被系统其他模块引用的索引库策略,删除后,引用该策略的其他模块将会报错;不支持删除系统默认的索引库策略;您可以在审计日志中查看相应的“删除”日志。
在索引库策略管理列表中勾选指定索引库策略后,点击列表上方的【导出】按钮,即可将已创建的索引库策略以“.json”格式导出,方便供其他场景快速应用。
提示:支持同时导出多个索引库策略。