功能介绍
系统管理员将接入需要配额管理的模型,并负责分配和查看使用情况。
操作指引
1.接入大模型
2.设置大模型限额
3.分配用户使用额度
4.查看使用记录及归档数据
接入大模型
1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 大模型接入”。
2.在页面中,单击【新建】按钮,弹出“接入模型”对话框。
填写如下信息:
参数 |
说明 |
||
模型名称 |
作为唯一标识 名称只能由中英文、数字和键盘上的特殊字符组成,长度为1-50位 |
||
协议 |
AISHU、OpenAI(Azure ChatGPT)、Claude、OPENAI |
||
API Model |
部署时,模型服务的名称 组成:由英文、数字及键盘上的特殊字符号组成,长度为1-50位,且区分大小写 |
||
API Base |
部署时,请求地址
组成:由英文、数字及键盘上的特殊字符号组成,长度为1-150位。 |
||
该模型是否需要配置token使用额度限制 |
若需要配额,则创建完成后。前往“模型管理>配额管理”中配置该模型的限额设置、分配用户额度 若无需配额,则创建完成后。所有可使用模型工厂的用户可在““部署 > 大模型接入>已授权的模型”查看并使用该模型,且无上限额度 |
3. 填完信息后,单击【测试连接】按钮对配置进行测试。
4.测试连接成功后,单击【保存】按钮。
配额管理
1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 配额管理”。
2.在列表中单击“操作>限额设置”,弹出对话框。
(1)选择限额类型:分别计算输入、输出额度、输入和输出总额度
(2)限额设置:按要求tokens数量、单价,系统自动计算预估金额。
3. 填完信息后,单击【确定】按钮保存设置。
注意:配置完成后,再次进入时,限额类型不可修改
分配用户额度
1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 配额管理”。
2.在列表中单击“操作>分配用户额度”,弹出对话框。
(1)在输入框中输入/单击在下拉框中选择需要添加成员
(2)添加完后,在列表中配置用户额度
3. 填完信息后,单击【确定】按钮保存设置。
注意:删除用户时,系统将自动回收未使用的部分。
使用记录
1.进入管理控制台,在左侧菜单栏中选择“模型管理 > 使用记录”。
2.本月使用明细:您可通过“用户”、“模型”过滤条件可查看使用情况。
3.历史归档:系统按月归档使用记录,支持用户手动导出记录。