OneAPI
OpenAI 接口管理 & 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,https://github.com/songquanpeng/one-api
是go语言写的,所以不原生部署了!
Docker部署
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
数据和日志将会保存在宿主机的 /home/ubuntu/data/one-api
目录,请确保该目录存在且具有写入权限,或者更改为合适的目录。
访问
访问 http://localhost:3000/ 并登录。初始账号用户名为 root
,密码为 123456
。
(fastgpt本来也是3000端口,容器里改成了3020让路。)
配置渠道和token
新建自定义渠道:
因为用了容器,就不要用localhost或者127.0.0.1会报错的,用本机eth0的ip,下面的m3e设置也一样设置。
秘钥随便填,就和m3e一样吧 :sk-aaabbbcccdddeeefffggghhhiiijjjkkk
再新建一个渠道:
进入令牌
新建一个无限的令牌,点复制,选Chatgptnextweb:{"key":"sk-YgZKKnIdDWP15L1r94B280Ce3e7a4cBe876121604f1eFd8f","url":"http://localhost:3000"}
一个是sk模拟openai的key,一个是url,填在配置文件即可调用openai一样调用它
用了ollama,llama3-8b-8192;oneapi里测试总是报404,一直无法联通
具体看下oneapi的文档或者咨询他们客服看看,估计有的llm它支持不是很好