一個IT宅男

Mixtral 8x7B大语言模型win下部署教程和演示

视频教程地址:https://www.bilibili.com/video/BV1Mi4y1e7px/ (B站)

https://www.youtube.com/watch?v=iX3BtPtPFOs

Ollama是用于本地运行、创建和共享大型语言模型(LLMs)的工具

Linux下安装 curl <https://ollama.ai/install.sh> | sh

直接命令行输入ollama就有帮助

通过ollama(ubuntu下)安装的命令是:ollama run dolphin-mixtral:8x7b

https://ollama.ai/library/dolphin-mixtral/tags

需要48G内存以上

4Bit量化版本:ollama run mixtral:8x7b-instruct-v0.1-q4_1

不审查4Bit量化:ollama run dolphin-mixtral:8x7b-v2.5-q4_1

赞(0)
未經允許不得轉載:Lincai Chen's Blog » Mixtral 8x7B大语言模型win下部署教程和演示

評論 抢沙发