更新时间:2024-04-15 16:34:15

新建任务流程

1.进入“Benchmark”页面,左侧菜单选中“Benchmark任务”。单击【新建】按钮,进入新建任务流程。

2.填写如下信息:

参数 说明
任务名称 名称只能由中英文、数字、特殊字符组成,长度为1-50位。
Benchmark配置 支持用户选择Benchmark配置。
算法类型 支持用户选择大模型、小模型、自定义应用、外部接入。
选择算法 详见下文。
Adapter文件 上传的文件格式仅支持要求python,且单个文件大小不超过2M。
描述 描述只由中英文、数字、特殊字符组成,长度为0-255位。
颜色 单击选择任务颜色。

3.选择算法

(1)大模型:选择一个大模型和一个提示词为一组算法

  • 单击【添加算法】,新增一行以选择算法
  • 单选大模型和单选提示词
  • 单击【删除】,删除该行算法

(2)小模型:支持选择多个小模型

(3)自定义应用:支持选择多个自定义应用

(4)外部接入:每个算法需要输入算法名称和URL

  • 单击【添加算法】,新增一行输入算法名称和URL
  • 参数说明
参数 说明
算法名称 名称只能由中英文、数字、特殊字符组成,长度为1-50位。
URL URL只能由英文、数字及键盘上的特殊字符组成,长度为1-150位。
  • 单击【删除】,删除该行算法

4.Adapter文件上传

(1)单击【选择文件】按钮,出现系统对话框,选择需要上传的文件

(2)文件上传完成,可在下方预览文件内容

(3)悬停文件时出现删除按钮,单击【删除】以删除文件

5.填写完信息后,可以选择保存任务或者运行任务:

  • 单击【保存】,保存任务
  • 单击【运行】,运行任务

Adapter如何编写

注意:Adapter用于适配数据集、算法、指标的输入输出格式,使数据可以顺利流转。Benchmark任务中Adapter是将数据集Input转换为算法的Input。Adapter编写格式主要取决于算法的Input。

算法 情况 Adapter
提示词+大模型 数据的Input和提示词的参数完全一致 ❌无需配置
提示词+大模型 数据的Input和提示词的参数不一致 ✅ 手动修改配置
小模型、自定义应用、外部接入 数据中只能存在一个Input 可能存在配置情况

注意事项

1.内置的Adapter会将所有数据转化为字符串格式。若需要保留原始格式:

(1) 单击下载【示例模板】,在示例中将如下片段代码删除

(2)并替换为下方代码片段

   dictInfo[column_name] = info[column_name]                                                                                                

2.内置的Adapter会将所有数据转化为键值对。若不需要键值对数据结构:

(1)将文件如下片段代码删除

(2)并替换为下方代码片段

 

场景一:提示词+大模型(数据的Input与提示词的参数完全一致)

1.test数据示例:

language content
中文 apple
中文 banana
英文 苹果
英文 香蕉

2.提示词:

下面我让你来充当翻译家,你的目标是把任何语言翻译成{{language}},请翻译时不要带翻译腔,而是要翻译得自然、流畅和地道,使用优美和高雅的表达方式。请翻译下面这句话{{content}}

3.使用以上数据和提示词时,无需编写Adapter。

4.此时,Adapter输出结果如下:

 

场景二:提示词+大模型(数据的Input与提示词的参数不一致)

1.翻译数据示例:

语言 内容
中文 apple
中文 banana
英文 苹果
英文 香蕉

2.翻译工具提示词:

下面我让你来充当翻译家,你的目标是把任何语言翻译成{{language}},请翻译时不要带翻译腔,而是要翻译的自然、流畅和地道,使用优美和高雅的表达方式。请翻译下面这句话{{content}}

3.编写Adapter

(1)Benchmark任务选择算法时,大模型选择“AISHU READER”,提示词选择“翻译器”

(2)单击下载【示例模板】,在示例中找到“对数据进行处理”。并将示例中

替换为如下,即可完成Adapter编辑。

4.Adapter输出结果


注意事项:

(1)若未选择Benchmark配置或算法并直接下载示例,则需要手动将“DatasetName”替换成数据集名称、“AlgorithmName”替换为算法名称

(2)若配置数据集名称中含除中文、英文及数字以外的字符,系统将自动替换为“_”