指标库

功能概述

存储并管理指标，可以支持指标的创建、查看、编辑、删除等功能。指标是用于评估和计算模型性能的函数或工具，可以直接应用于训练或评估过程中，来帮助开发者更好地理解和衡量模型的表现。

操作指引

从“主页”进入"Benchmark"，在左侧菜单栏中选择“指标库”，进入“指标库”页面。

指标分为两大类：函数计算、AI评价。

函数计算

函数计算指标侧重于使用具体的量化指标（如关键词匹配率、ROUGE评分等）来评估模型、自定义应用等性能。这些指标通常基于预定义的标准和算法，能够提供客观的数值结果，但可能无法完全反映评估对象的实际应用效果。

新建指标

1.单击【上传】按钮，弹出“新建指标”对话框，单击【选择文件】按钮选择文件进行上传。

2.上传文件后完成后，系统自动解析文件，您可在下方查看文件详情

3.确定文件内容，单击【确定】按钮，则完成上传操作。

查看指标

您可通过单击卡片，或在操作中单击【查看】按钮，在弹窗中查看指标详情。

删除指标

1.单击指标卡片中“操作>删除”按钮，弹出删除确认弹窗。

2.单击【确定】按钮，确认删除指标。

注意事项

1.仅支持上传格式为python的一个文件，且文件类型大小不超过1M。

2.系统提供内置指标，仅支持使用，不支持用户删除。

AI评价

AI评价指标利用先进的语言模型来模拟人类评估者的角色，对答案的质量进行自动评分，旨在提供一个快速、自动化的评估手段，同时保持一定的准确性和客观性。

新建指标

1.单击【新建】按钮，弹出“新建指标”对话框，填写如下信息

2.填完信息后，单击【保存】按钮，完成新建指标

查看指标

操作同查看函数计算指标。

删除指标

操作同删除函数计算指标。