人工智能——使用Ollama部署本地大模型
1、简介
在如今的 AI 应用领域中，大模型（LLM，Large Language Models）已成为推动前沿技术发展的关键力量。其中的 Top1 当属 OpenAI 的 GPT 系列。通过大规模的数据训练，这些模型可以执行高质量的语言处理任务，如聊天问答、文本生成、翻译等。
去年，ChatGPT 引入了定制个人知识库的功能，采用了检索增强（RAG，Retrieval-Augmented Generation）技术。这一技术使得模型在生成回答前，先从知识库中检索相关信息，从而显著提高了输出的准确性和信息量。然而，由于网络环境、隐私和政策等限制，线上知识库的使用面临诸多挑战，越来越多人开始寻求部署本地大模型和知识库。
Ollama 的出现为本地部署带来了便利。Ollama 是一个大模型的管理框架，类似 Docker 的镜像管理方式，可以通过简单的命令快速拉取和运行大模型。
在本文中，我们将引导大家如何利用 Ollama 快速搭建本地大模型服务，并结合 MaxKB 构建一个私人定制的知识库。
2、优势
- 开源免费： Ollama 及其支持的模型完全开源免费，任何人都可以自由使用、修改和分发。
- 简单易用： 无需复杂配置，只需几条命令即可启动和运行 Ollama。
- 模型丰富： Ollama 支持如 Llama 3、Mistral、Qwen2 等热门开源 LLM，并提供一键下载和切换功能。
- 资源占用低： 即使在普通笔记本电脑上也能流畅运行。
- 社区活跃： Ollama 拥有庞大活跃的社区，用户可以轻松获取帮助、分享经验。
3、如何使用
安装 Ollama
根据你的操作系统，从 Ollama 官网 下载并安装最新版本。
启动 Ollama
打开终端或命令行，输入以下命令启动 Ollama 服务器：
ollama serve
下载模型
在模型仓库中找到想要的模型，然后使用 ollama pull 命令下载：
ollama pull llama3:70b
运行模型
使用 ollama run 命令启动模型：
ollama run llama3:70b
开始聊天
在终端中输入你的问题或指令，Ollama 会根据模型生成相应的回复。
4、模型库
Ollama 支持多个模型，以下是一些可下载的示例模型：
| Model | Parameters | Size | Command |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
5、安装Ollama
使用以下命令安装 Ollama：
curl -fsSL https://ollama.com/install.sh | sh
查看服务状态
systemctl status ollama
修改端口和模型存储位置
如果需要修改 Ollama 默认端口或模型存放路径，可编辑 /etc/systemd/system/ollama.service 文件：
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/data/ollama/models"
指定 GPU
如果使用 GPU，可以配置 CUDA_VISIBLE_DEVICES ：
Environment="CUDA_VISIBLE_DEVICES=0,1"
重启 Ollama：
systemctl daemon-reload
systemctl restart ollama
6、安装 MaxKB
MaxKB 是一款基于 LLM 的知识库问答系统，由飞致云开发。使用 Docker 部署 MaxKB：
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb
访问页面（默认账号：admin，密码：MaxKB@123..）。
7、导入模型
在 MaxKB 中，前往“系统管理” -> “模型设置” -> “Ollama”，添加模型，输入 API Key 后自动导入配置。
8、创建应用
在应用页面，点击“创建应用”，输入应用名称，关联模型，保存并发布。
