benchmark配置

功能概述

管理并储存benchmark配置，可以支持benchmark配置的创建、查看、编辑、复制、删除等功能。benchmark配置中包括数据集、指标、转换器、平均值的配置，可以被用于评估算法的性能。在机器学习和深度学习领域的场景中有很大的作用。

前提准备

步骤一：准备数据集

步骤二：创建指标

操作指引

1.进入Benchmark>Benchmark配置界面。

2.单击【新建】按钮，弹出“新建数据集”对话框。

3.在弹出的页面中，填写Benchmark配置名称、描述，并单击 【新建】按钮。进入配置画板

步骤一：benchmark配置信息

1.进入画布后，单击卡片，可修改benchmark配置信息。

步骤二：任务

1.在画布中单击benchmark配置信息卡片后【+】，可创建Task

2.在右侧侧边栏中可修改任务信息。

注意：

1.Task的命名尽量已能力为主：如语言、知识、推理、agent等

2.删除task时，同时会删除task后所有的配置信息（数据源、指标、adapter及榜单）

步骤三：数据集

1.在画布中单击task信息卡片后【+】，系统自动为您创建数据集、指标、adapter及榜单

2.编辑数据集卡片

（1）数据集命名 > 选择数据集版本 > 数据集版本中多文件 > 配置每个文件的Inputs、Outputs

• Inputs：选择的是问题等。
• Outputs：选择的是预期回答的结果或问题的正确答案。

注意：

1.至少配置一个文件，且文件中必须包含一个input和output。

2.若单一文件中选择多个output或选择多个文件进行配置时，需要修改adapter将多个output转换为统一output格式输出给指标。

3.删除数据集时，同时会删除数据源后所有配置（指标、adapter及榜单）

步骤四：指标

1.在画布中单击指标卡片，弹出侧边栏

2.单击某个指标，可查看指标详情。也可直接勾选需要的指标

3.当在未找到需要的指标时，在侧边栏下方单击【前往指标库】按钮，创建您所需指标

步骤五：配置Adapter节点

1.系统已内置基本Adapter，满足以下可跳过配置

2.以下情况内置Adapter无法满足，需要您在画布中单击Adapter卡片，在侧边栏中上传配置文件

（1）内置Adapter规则

• 若使用大模型时，Adapter会将数据自动的转为字符串
• 若使用小模型时，Adapter会保留数据原有格式

（2）Adapter示例模版为将数据自动的转为字符串，若需要保留数据的原有格式，则执行下方操作：

• 将文件中片段代码删除

• 并替换为下方代码片段，即可保留数据原有格式

 dictInfo[column_name] = info[column_name]                                         

（3）内置的Adapter会将所有数据转化为键值对。若不需要键值对数据结构。

• 将文件如下片段代码删除

• 并替换为下方代码片段

步骤六：榜单

1.在画布中单击榜单，弹出侧边栏中配置

（1）均分：所有Task核心指标的平均值

（2）每个Task的核心指标

步骤七：发布

完成以上操作后，右上角单击【发布】，即可完成benchmark配置发布