docker妙用 篇十八:把AI大模型搬到本地 第二期-部署一个AI聊天工具|docker妙用|绿联NAS|OpenAI
提示:本篇文章1058字符,阅读大约需要2分钟。
写在前面
上周,本薇用绿联DX4600+带大家部署了一个免费的本地3.5模型。原理就是利用日前已经免费且无需登录的3.5网页端,将其利用该容器直接转化为API服务器。
但是,光有API服务器显然是不够的,没法聊天的话,大家显然还不能愉快的玩耍。
今天就带大家继续使用docker部署一个本地支持API的聊天服务器,这样在服务器填入API地址以后,大家就可以在本地愉快地和AI大模型交谈了,你也可以直接将这个聊天服务器分享给你的朋友和家人使用。让AI完全零门槛使用。
在这里仍然提醒大家,请注意相关的安全及法律风险,使用时请遵守国内关于AI大模型的相关法律法规,不要随意分享到公网使用。
部署
第一步,下载镜像;
下载镜像第二步,创建容器;
创建容器第三步,设置本地端口,我这里映射了3001;
设置本地端口第四步,设置环境变量(填入本地API服务器地址和API,API请随意输入一串字符);
填入环境变量第五步,部署成功。
部署成功使用
在浏览器输入http://[NAS IP]:端口号即可打开网页端。
然后你就可以愉快的使用了:
愉快的使用吧你也可以在首页使用诸多内置的prompt,帮助3.5模型变身:
内置prompt化身小红书写手关于DX4600+
今日我们使用搭载绿联NAS DX4600+进行部署:
DX4600+绿联DX4600+搭载了4核4线程的低功耗CPU——N5105,兼具了性能和节能的特性。同时最高支持16G内存(双8G),使你在部署docker容器时,容量不再捉襟见肘。同时具备双M.2插槽,将docker文件夹放入固态硬盘中,会极大降低系统运行时机械硬盘读写的噪音。同时,两张M.2固态硬盘还能组建RAID1存储池,为你的docker数据保驾护航。
同时,在UGOS系统中,dockerUI集成了绝大部分常用功能,大大简化了docker部署的繁琐程度:
绿联的dockerUI你甚至可以在docker应用中直接为Jellyfin映射核显,非常方便:
为Jellyfin映射核显新手小白不会部署docker怎么办?绿联也为你贴心的准备了各类常用容器的部署教程,实现一键下载,一键部署哦。
常用docker项目docker教程总结
最后还是非常感谢AI社区的开发者们能为我们普通人提供这些非常好用的工具,无论是运行在本地的API服务器,还是聊天工具,以及聊天服务器自带的众多prompt。这些无一不是在降低普通人接触AI,使用AI的门槛。
对于这类简单的容器部署,绿联NAS提供了非常简洁高效的dockerUI界面,无论是用户部署,还是博主做教程,都变得非常直观好用。
下一期本薇继续带大家部署一个各类AI的API集合容器,这个容器除了支持OpenAI之外,还集成了百度文心一言、阿里通义千问等诸多国产大模型。同时,它也支持今天部署的聊天服务器,在它的加持下,你就可以在本地聊天服务器上直接使用各种AI大模型了。
这就是本期的全部内容了,如果这篇文章对您有帮助的话,欢迎您在评论区多多讨论,也欢迎关注、点赞、打赏一键三连,您的支持对我非常重要。
我是冥冰薇,点个关注不迷路,我们下期再见。
关注图作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
菜鸡互啄一整年
校验提示文案
shawn_zhou
校验提示文案
奋斗中2021
校验提示文案
半人马座比邻星
校验提示文案
值友7057287218
校验提示文案
值友9315165290
校验提示文案
行暴欺良
校验提示文案
去完善去完善
校验提示文案
damianWBY
校验提示文案
damianWBY
校验提示文案
去完善去完善
校验提示文案
行暴欺良
校验提示文案
值友9315165290
校验提示文案
半人马座比邻星
校验提示文案
奋斗中2021
校验提示文案
值友7057287218
校验提示文案
shawn_zhou
校验提示文案
菜鸡互啄一整年
校验提示文案