一個IT宅男

OneAPI部署教程(OpenAI接口管理 & 分发系统)

OneAPI

OpenAI 接口管理 & 分发系统,可以通过标准的 OpenAI API 格式访问所有的大模型,https://github.com/songquanpeng/one-api

go语言写的,所以不原生部署了!

Docker部署

docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

数据和日志将会保存在宿主机的 /home/ubuntu/data/one-api 目录,请确保该目录存在且具有写入权限,或者更改为合适的目录。

访问

访问 http://localhost:3000/ 并登录。初始账号用户名为 root,密码为 123456

(fastgpt本来也是3000端口,容器里改成了3020让路。)

配置渠道和token

新建自定义渠道:

因为用了容器,就不要用localhost或者127.0.0.1会报错的,用本机eth0的ip,下面的m3e设置也一样设置。

秘钥随便填,就和m3e一样吧 :sk-aaabbbcccdddeeefffggghhhiiijjjkkk

再新建一个渠道:

进入令牌

新建一个无限的令牌,点复制,选Chatgptnextweb:{"key":"sk-YgZKKnIdDWP15L1r94B280Ce3e7a4cBe876121604f1eFd8f","url":"http://localhost:3000"}

一个是sk模拟openai的key,一个是url,填在配置文件即可调用openai一样调用它

赞(1)
未經允許不得轉載:Lincai Chen's Blog » OneAPI部署教程(OpenAI接口管理 & 分发系统)

評論 3

  1. #1

    用了ollama,llama3-8b-8192;oneapi里测试总是报404,一直无法联通

    风里飘3个月前 (05-02)回复
    • 具体看下oneapi的文档或者咨询他们客服看看,估计有的llm它支持不是很好

      clc3个月前 (05-03)回复