更新时间:2024-08-12 10:44:41

功能介绍

系统管理员将接入需要配额管理的模型,并负责分配和查看使用情况。

 

操作指引

1.接入大模型

2.设置大模型限额

3.分配用户使用额度

4.查看使用记录及归档数据

 

接入大模型

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 大模型接入”。

2.在页面中,单击【新建】按钮,弹出“接入模型”对话框。

填写如下信息:

参数

说明

模型名称

作为唯一标识

名称只能由中英文、数字和键盘上的特殊字符组成,长度为1-50位

协议

AISHU、OpenAI(Azure)、Claude、其他(请求体需符合OpenAI风格)

API Model

部署时,模型服务的名称

组成:由英文、数字及键盘上的特殊字符号组成,长度为1-50位,且区分大小写

API Base

部署时,请求地址

  • aishu填写格式:http://ip:端口/版本
  • OpenAI填写格式:需要填写部署地址

组成:由英文、数字及键盘上的特殊字符号组成,长度为1-150位。

3. 填完信息后,单击【测试连接】按钮对配置进行测试。

4.测试连接成功后,单击【保存】按钮。

 

配额管理

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 配额管理”。

2.在列表中单击“操作>限额设置”,弹出对话框。

(1)选择限额类型:分别计算输入、输出额度、输入和输出总额度

(2)限额设置:按要求tokens数量、单价,系统自动计算预估金额。

3. 填完信息后,单击【确定】按钮保存设置。

注意:配置完成后,再次进入时,限额类型不可修改

 

分配用户额度

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 配额管理”。

2.在列表中单击“操作>分配用户额度”,弹出对话框。

(1)在输入框中输入/单击在下拉框中选择需要添加成员

(2)添加完后,在列表中配置用户额度

3. 填完信息后,单击【确定】按钮保存设置。

注意:删除用户时,系统将自动回收未使用的部分。

 

使用记录

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 使用记录”。

2.本月使用明细:您可通过“用户”、“模型”过滤条件可查看使用情况。

3.历史归档:系统按月归档使用记录,支持用户手动导出记录。