视频教程地址:https://www.bilibili.com/video/BV1Mi4y1e7px/ (B站)
Ollama是用于本地运行、创建和共享大型语言模型(LLMs)的工具
Linux下安装 curl <https://ollama.ai/install.sh> | sh
直接命令行输入ollama就有帮助
通过ollama(ubuntu下)安装的命令是:ollama run dolphin-mixtral:8x7b
https://ollama.ai/library/dolphin-mixtral/tags
需要48G内存以上
4Bit量化版本:ollama run mixtral:8x7b-instruct-v0.1-q4_1
不审查4Bit量化:ollama run dolphin-mixtral:8x7b-v2.5-q4_1