更新时间:2024-08-12 10:45:05

功能介绍

系统管理员将接入需要配额管理的模型,并负责分配和查看使用情况。

 

操作指引

1.接入大模型

2.设置大模型限额

3.分配用户使用额度

4.查看使用记录及归档数据

 

接入大模型

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 大模型接入”。

2.在页面中,单击【新建】按钮,弹出“接入模型”对话框。

填写如下信息:

参数

说明

模型名称

作为唯一标识

名称只能由中英文、数字和键盘上的特殊字符组成,长度为1-50位

协议

AISHU、OpenAI(Azure ChatGPT)、Claude、OPENAI

API Model

部署时,模型服务的名称

组成:由英文、数字及键盘上的特殊字符号组成,长度为1-50位,且区分大小写

API Base

部署时,请求地址

  • aishu填写格式:http://ip:端口/版本
  • OpenAI填写格式:需要填写部署地址

组成:由英文、数字及键盘上的特殊字符号组成,长度为1-150位。

该模型是否需要配置token使用额度限制

若需要配额,则创建完成后。前往“模型管理>配额管理”中配置该模型的限额设置、分配用户额度

若无需配额,则创建完成后。所有可使用模型工厂的用户可在““部署 > 大模型接入>已授权的模型”查看并使用该模型,且无上限额度

3. 填完信息后,单击【测试连接】按钮对配置进行测试。

4.测试连接成功后,单击【保存】按钮。

 

配额管理

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 配额管理”。

2.在列表中单击“操作>限额设置”,弹出对话框。

(1)选择限额类型:分别计算输入、输出额度、输入和输出总额度

(2)限额设置:按要求tokens数量、单价,系统自动计算预估金额。

3. 填完信息后,单击【确定】按钮保存设置。

注意:配置完成后,再次进入时,限额类型不可修改

 

分配用户额度

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 配额管理”。

2.在列表中单击“操作>分配用户额度”,弹出对话框。

(1)在输入框中输入/单击在下拉框中选择需要添加成员

(2)添加完后,在列表中配置用户额度

3. 填完信息后,单击【确定】按钮保存设置。

注意:删除用户时,系统将自动回收未使用的部分。

 

使用记录

1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 使用记录”。

2.本月使用明细:您可通过“用户”、“模型”过滤条件可查看使用情况。

3.历史归档:系统按月归档使用记录,支持用户手动导出记录。