docker妙用 篇十九:部署AI大模型的API集合容器|文心一言|绿联私有云

2024-04-17 20:11:13 8点赞 135收藏 2评论

提示:本篇文章1520字符,阅读大约需要4分钟。

写在前面

上两期我们分别部署了ChatGPT 3.5的API服务器,以及可以使用API接入的ChatGPT聊天服务器。但这个时候,就有聪明的小伙伴要问了,如果我有百度文心一言、阿里通义千问或者是微软的Azure AI等其他大模型的API,那是不是都得一个一个部署他们对应的聊天服务器呢?

答案当然是不需要的,早就有开发者帮大家把这件事情做好了。

而且部署完今天这个容器以后,人人都能化身套壳AI工具开发者,把你用的所有AI大模型都分享给你的亲朋好友使用。

听起来是不是很棒?但同前两期一样,仍然在本文开头本薇要给大家做风险提示:

注意相关的安全及法律风险,使用时请遵守国内关于AI大模型的相关法律法规,遵守AI公司相关使用规范,尊重开发者要求的工具使用范围,请不要随意分享到公网使用。

原理

简单解释一下今天部署容器的原理:

这台容器相当于一台中转服务器,它集成了多种AI大模型的API,可以帮助你把AI聊天服务器中的请求,发送到你需要的AI大模型服务商。这样你就可以实现在本来只支持OpenAI公司API的AI聊天服务器中,使用其他公司包括国产服务商开发的AI大模型。

部署

第一步,下载镜像,镜像名称:justsong/one-api:latest;

下载镜像下载镜像拉取镜像拉取镜像

第二步,创建容器;

创建容器创建容器勾选创建后启动容器勾选创建后启动容器

第三步,本薇这里偷个懒,直接使用SQLite来部署了,直接映射一下数据库存储路径给容器就好;

新建one-API文件夹新建one-API文件夹映射到data文件夹映射到data文件夹

第四步,设置本地端口,我这里设置3000,请注意上次聊天服务器是否占用了这个端口;

设置合适端口设置合适端口

第五步,在环境变量里面设置一下时区(TZ = Asia/Shanghai);

添加时区参数添加时区参数

第六步,部署成功;

查看运行状态查看运行状态

使用

在浏览器输入http://[NAS IP]:端口号即可打开网页端。

访问主页面并登录访问主页面并登录

首次登录,初始账号用户名为 root,密码为 123456,登录成功后,系统会自动提示你修改管理员密码。

修改默认密码修改默认密码

然后点击渠道-添加新的渠道;

添加新的渠道添加新的渠道

在渠道编辑页面添加第一篇教程里面部署的API服务器;

编辑渠道编辑渠道

保存后点击测试,测试成功即可使用。

测试成功测试成功还可添加各类大模型API使用还可添加各类大模型API使用

再次点击令牌,点击添加新的令牌,选择模型范围,额度默认就好;

添加新令牌添加新令牌点击提交点击提交

这个令牌就相当于这个中转服务器的API,填入其他支持API的工具中,你就可以愉快的玩耍了。

这个容器默认使用的就是我们上次部署的AI聊天服务器(,只不过需要在设置中将聊天服务器链接改成我们自己的本地链接就能使用了。

填入本地聊天服务器填入本地聊天服务器聊天测试成功聊天测试成功

然后聊天服务器里面也需要手动更改一下API代理和API,因为默认上次我们在环境变量里面填的是本地的ChatGPT 3.5服务器。

如果要长期使用的话,建议在dockerUI里面编辑一下聊天服务器的环境变量,改成中转服务器的地址和API,不然每次都要手动设置一下,会比较麻烦。

关于DX4600+

今日我们使用搭载绿联NAS DX4600+进行部署:

DX4600+DX4600+

绿联DX4600+搭载了4核4线程的低功耗CPU——N5105,兼具了性能和节能的特性。同时最高支持16G内存(双8G),使你在部署docker容器时,容量不再捉襟见肘。同时具备双M.2插槽,将docker文件夹放入固态硬盘中,会极大降低系统运行时机械硬盘读写的噪音。同时,两张M.2固态硬盘还能组建RAID1存储池,为你的docker数据保驾护航。

DX4600+DX4600+

同时,在UGOS系统中,dockerUI集成了绝大部分常用功能,大大简化了docker部署的繁琐程度:

绿联的dockerUI绿联的dockerUI

你甚至可以在docker应用中直接为Jellyfin映射核显,非常方便:

为Jellyfin映射核显为Jellyfin映射核显

新手小白不会部署docker怎么办?绿联也为你贴心的准备了各类常用容器的部署教程,实现一键下载,一键部署哦。

常用docker项目常用docker项目docker教程docker教程

总结

把AI大模型搬到本地完整的三期就给大家做完了。其中包含了如何在docker容器构建本地的API服务器、AI聊天服务器以及API中转服务器。

部署完成后,你就会发现AI工具离我们普通人真的很近很近,你也可以一键把AI工具分享给你的亲朋好友,让更多的人进入AI时代吧。

心动不如行动,快快用起来吧。

这就是本期的全部内容了,如果这篇文章对您有帮助的话,欢迎您在评论区多多讨论,也欢迎关注、点赞、打赏一键三连,您的支持对我非常重要。

我是冥冰薇,点个关注不迷路,我们下期再见。

关注图关注图

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起

UGREEN 绿联 DX4600 Pro 4盘位NAS(奔腾N6005、8GB)

UGREEN 绿联 DX4600 Pro 4盘位NAS(奔腾N6005、8GB)

1849元起

UGREEN 绿联 DX4600 四盘位NAS存储 (赛扬N5105、8GB)

UGREEN 绿联 DX4600 四盘位NAS存储 (赛扬N5105、8GB)

1749元起

UGREEN 绿联 DX4600+ 4盘位NAS(赛扬N5105、8GB)

UGREEN 绿联 DX4600+ 4盘位NAS(赛扬N5105、8GB)

1979元起

UGREEN 绿联 DH2600 双盘位NAS (N5105、4GB)

UGREEN 绿联 DH2600 双盘位NAS (N5105、4GB)

1321.01元起

UGREEN 绿联 DH2100 双盘位NAS(RTD1296、2GB)

UGREEN 绿联 DH2100 双盘位NAS(RTD1296、2GB)

873.01元起

UGREEN 绿联 私有云 DH2600 双盘位NAS网络存储 配2*8TB酷狼硬盘

UGREEN 绿联 私有云 DH2600 双盘位NAS网络存储 配2*8TB酷狼硬盘

1349元起

UGREEN 绿联 立减10% !到手价899 !UGREEN 绿联 私有云DH2100+ 两盘位nas网络存储器个人云存储家庭家用网盘

UGREEN 绿联 立减10% !到手价899 !UGREEN 绿联 私有云DH2100+ 两盘位nas网络存储器个人云存储家庭家用网盘

859元起

UGREEN 绿联 私有云DX4600 Nas网络存储服务器8G版 四核4盘位家庭个人云

UGREEN 绿联 私有云DX4600 Nas网络存储服务器8G版 四核4盘位家庭个人云

1799元起

UGREEN 绿联 私有云DH2600 8T双盘位 Nas网络存储

UGREEN 绿联 私有云DH2600 8T双盘位 Nas网络存储

2849元起

UGREEN 绿联 私有云DX4600Pro/+数据8G版Nas网络存储硬盘服务器

UGREEN 绿联 私有云DX4600Pro/+数据8G版Nas网络存储硬盘服务器

3999元起

UGREEN 绿联 年终好价节直降15%:UGREEN 绿联 私有云DX4600+

UGREEN 绿联 年终好价节直降15%:UGREEN 绿联 私有云DX4600+

1999元起

UGREEN 绿联 私有云DX4600数据8G版Nas网络存储服务器四核4盘

UGREEN 绿联 私有云DX4600数据8G版Nas网络存储服务器四核4盘

4799元起

UGREEN 绿联 私有云DX4600 8G版 16T四盘位

UGREEN 绿联 私有云DX4600 8G版 16T四盘位

2279.01元起

UGREEN 绿联 私有云DX4600+ 8G版 四核四盘位硬盘家用nas网络存储服务器 家庭云存储

UGREEN 绿联 私有云DX4600+ 8G版 四核四盘位硬盘家用nas网络存储服务器 家庭云存储

1999元起

UGREEN 绿联 私有云DX4600+数据8G版Nas网络存储家用硬盘服务器

UGREEN 绿联 私有云DX4600+数据8G版Nas网络存储家用硬盘服务器

3499元起

UGREEN 绿联 私有云DH2600两盘位NAS云存储共享相册网络存储家庭个人云盘

UGREEN 绿联 私有云DH2600两盘位NAS云存储共享相册网络存储家庭个人云盘

1349元起

文中相关商品

京东 UGREEN 绿联 DX4600+ 4盘位NAS(赛扬N5105、8GB)
2评论

  • 精彩
  • 最新
提示信息

取消
确认
评论举报

相关好价推荐
查看更多好价

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
135
扫一下,分享更方便,购买更轻松