docker妙用 篇十九:部署AI大模型的API集合容器|文心一言|绿联私有云
提示:本篇文章1520字符,阅读大约需要4分钟。
写在前面
上两期我们分别部署了ChatGPT 3.5的API服务器,以及可以使用API接入的ChatGPT聊天服务器。但这个时候,就有聪明的小伙伴要问了,如果我有百度文心一言、阿里通义千问或者是微软的Azure AI等其他大模型的API,那是不是都得一个一个部署他们对应的聊天服务器呢?
答案当然是不需要的,早就有开发者帮大家把这件事情做好了。
而且部署完今天这个容器以后,人人都能化身套壳AI工具开发者,把你用的所有AI大模型都分享给你的亲朋好友使用。
听起来是不是很棒?但同前两期一样,仍然在本文开头本薇要给大家做风险提示:
注意相关的安全及法律风险,使用时请遵守国内关于AI大模型的相关法律法规,遵守AI公司相关使用规范,尊重开发者要求的工具使用范围,请不要随意分享到公网使用。
原理
简单解释一下今天部署容器的原理:
这台容器相当于一台中转服务器,它集成了多种AI大模型的API,可以帮助你把AI聊天服务器中的请求,发送到你需要的AI大模型服务商。这样你就可以实现在本来只支持OpenAI公司API的AI聊天服务器中,使用其他公司包括国产服务商开发的AI大模型。
部署
第一步,下载镜像,镜像名称:justsong/one-api:latest;
下载镜像拉取镜像第二步,创建容器;
创建容器勾选创建后启动容器第三步,本薇这里偷个懒,直接使用SQLite来部署了,直接映射一下数据库存储路径给容器就好;
新建one-API文件夹映射到data文件夹第四步,设置本地端口,我这里设置3000,请注意上次聊天服务器是否占用了这个端口;
设置合适端口第五步,在环境变量里面设置一下时区(TZ = Asia/Shanghai);
添加时区参数第六步,部署成功;
查看运行状态使用
在浏览器输入http://[NAS IP]:端口号即可打开网页端。
访问主页面并登录首次登录,初始账号用户名为 root
,密码为 123456
,登录成功后,系统会自动提示你修改管理员密码。
然后点击渠道-添加新的渠道;
添加新的渠道在渠道编辑页面添加第一篇教程里面部署的API服务器;
编辑渠道保存后点击测试,测试成功即可使用。
测试成功还可添加各类大模型API使用再次点击令牌,点击添加新的令牌,选择模型范围,额度默认就好;
添加新令牌点击提交这个令牌就相当于这个中转服务器的API,填入其他支持API的工具中,你就可以愉快的玩耍了。
这个容器默认使用的就是我们上次部署的AI聊天服务器(,只不过需要在设置中将聊天服务器链接改成我们自己的本地链接就能使用了。
填入本地聊天服务器聊天测试成功然后聊天服务器里面也需要手动更改一下API代理和API,因为默认上次我们在环境变量里面填的是本地的ChatGPT 3.5服务器。
如果要长期使用的话,建议在dockerUI里面编辑一下聊天服务器的环境变量,改成中转服务器的地址和API,不然每次都要手动设置一下,会比较麻烦。
关于DX4600+
今日我们使用搭载绿联NAS DX4600+进行部署:
DX4600+绿联DX4600+搭载了4核4线程的低功耗CPU——N5105,兼具了性能和节能的特性。同时最高支持16G内存(双8G),使你在部署docker容器时,容量不再捉襟见肘。同时具备双M.2插槽,将docker文件夹放入固态硬盘中,会极大降低系统运行时机械硬盘读写的噪音。同时,两张M.2固态硬盘还能组建RAID1存储池,为你的docker数据保驾护航。
同时,在UGOS系统中,dockerUI集成了绝大部分常用功能,大大简化了docker部署的繁琐程度:
绿联的dockerUI你甚至可以在docker应用中直接为Jellyfin映射核显,非常方便:
为Jellyfin映射核显新手小白不会部署docker怎么办?绿联也为你贴心的准备了各类常用容器的部署教程,实现一键下载,一键部署哦。
常用docker项目docker教程总结
把AI大模型搬到本地完整的三期就给大家做完了。其中包含了如何在docker容器构建本地的API服务器、AI聊天服务器以及API中转服务器。
部署完成后,你就会发现AI工具离我们普通人真的很近很近,你也可以一键把AI工具分享给你的亲朋好友,让更多的人进入AI时代吧。
心动不如行动,快快用起来吧。
这就是本期的全部内容了,如果这篇文章对您有帮助的话,欢迎您在评论区多多讨论,也欢迎关注、点赞、打赏一键三连,您的支持对我非常重要。
我是冥冰薇,点个关注不迷路,我们下期再见。
关注图作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
AI小值-电脑数码
校验提示文案
AI小值-电脑数码
校验提示文案