更新时间:2024-12-11 17:10:54

AnyFabric为不同类型的逻辑视图提供探查服务,根据视图的类型可以选择不同的探查内容,其中数据探查主要对视图中字段的数据有针对性地设置规则,从不同维度进行统计和质量探查,业务数据更新时间探查可以提供业务数据更新时间戳供用户参考,数据分类分级探查基于逻辑实体属性对数据进行自动分类打标,更好地促进组织内数据的管理与检索。

 

► 数据质量探查

用户可以对某个数据源下的多个视图统一进行探查,也可以对单个视图有针对性地进行探查。

 

二者的探查方法相同,但入口有所区别,若想要对数据源进行统一探查,用户可以在运营中心>逻辑视图>元数据视图页面,选中左栏的某个数据源,再点击右侧出现的【探查数据源】按钮,配置探查规则后展开质量探查。具体的规则配置方法请参考下文针对单个视图的数据探查说明。

 

针对单个视图的数据探查有两个入口,用户可以在运营中心>逻辑视图页面,点击已创建的逻辑视图操作栏【探查】按钮。

 

接着在探查内容一栏选择【数据探查】,可以对该视图的数据进行统计和质量评估探查。

 

也可以点击进入某个视图的详情页,在“数据预览”一栏点击【配置数据探查规则】进入配置页面。

 

按照探查级别从低到高,目前用户可以对视图同时展开视图元数据级、视图数据级、行级、字段级的数据探查。在数据探查页面,用户先要配置总体的采样规则,可选针对全量数据或随机抽样数据进行探查,若数据量较大,探查运行时间会较长。

 

下表为在不同级别规则配置中可以探查的维度和详细项总览:

探查级别 质量/统计维度 探查规则
视图元数据级 完整性
  • 表注释检查:检查是否包含表注释;
  • 字段描述检查:检查字段描述是否完整
规范性 数据类型检查:检查字段的数据类型、长度、精度和字段关联的数据标准是否正确。
数据视图级 完整性

支持用户自定义字段配置或SQL语句规则表达式,并基于当前规则进一步配置过滤条件。

及时性 通过数据业务更新时间与更新周题进行比较,可选按照每天、每周、每月、每季度、每半年或每年进行及时性检查。
行级

完整性

  • 行数据空值项检查:检查每一行数据是否存在空值项,根据字段类型进行规则配置;
  • 自定义规则:支持用户自定义字段配置或SQL语句规则表达式,并基于当前规则进一步配置过滤条件。
唯一性
  • 行数据重复值检查:检查每一行数据是否存在重复记录;
  • 自定义规则:支持用户自定义字段配置或SQL语句规则表达式,并基于当前规则进一步配置过滤条件。
准确性

支持用户自定义字段配置或SQL语句规则表达式,并基于当前规则进一步配置过滤条件。

字段级 完整性
  • 空值项检查:检查字段对应的值是否包含NULL或用户定义的空值项;
  • 码值检查:检查字段对应的值是否包含所有的码值;
  • 自定义规则:支持用户自定义字段配置或SQL语句规则表达式
唯一性
  • 重复值检查:检查字段对应的值是否存在重复记录;
  • 自定义规则:支持用户自定义字段配置或SQL语句规则表达式
规范性
  • 格式检查:检查字段对应的值和定义的格式是否匹配,需输入正则表达式;
  • 自定义规则:支持用户自定义字段配置或SQL语句规则表达式
准确性 支持用户自定义字段配置或SQL语句规则表达式
数据统计 支持最大值、最小值、分位数、平均值、标准差和枚举值分布统计

 

规则配置完成后,请开启各级探查规则的“启用”开关,然后点击右下角【发起探查】。

 

成功发起探查后会出现弹窗提示,可以直接在弹窗中点击【探查任务】查看探查记录,也可后续点击顶部栏右侧的【我的任务】,在“探查任务”中查看所有探查任务的状态。

 

 

若探查状态无异常,可以进入已探查的视图详情页,在“数据预览”栏开启【查看数据质量报告】按钮,查看最终的探查质量结果。

 

► 业务数据更新时间探查

运营中心>逻辑视图页面,点击已创建的逻辑视图操作栏【发起探查】按钮,在探查内容一栏选择【业务数据更新时间探查】后点击右下角【发起探查】,可以探查该视图的数据实际更新时间戳。

 

成功发起探查后会出现弹窗提示,可以直接在弹窗中点击【探查任务】查看探查记录,也可后续点击顶部栏右侧的【我的任务】,在“探查任务”中查看所有探查任务的状态。

 

探查结束后,具有普通用户角色权限的用户可以在服务超市的数据资源目录挂载的逻辑视图详情页中查看业务时间戳,运营人员在逻辑视图的视图详情页可以查看和修改业务时间戳。

 

 

► 数据分类分级探查

 


• 说明:用户在AnyFabric中进行数据分类分级探查之前,需要先在AnyDATA中进行知识图谱构建,成功运行名为“业务架构图谱_算法”的知识图谱后,数据分类分级探查才能正常进行。构图方法请参考AnyDATA知识图谱相关操作指南。


 

 

运营中心>逻辑视图页面,点击已创建的逻辑视图操作栏【发起探查】按钮,在探查内容一栏选择【业务数据更新时间探查】后点击右下角【发起探查】,可以探查该视图的数据实际更新时间戳。

 

数据自动分类分级以逻辑实体属性为模板对数据进行分类,属性关联的数据分级标签会自动应用到已匹配的逻辑视图字段上,逻辑视图中已关联属性的字段将不被探查,未关联属性的字段会自动匹配上属性进行分类分级。探查结束后,请前往资产全景查看探查结果。