LocalAI：兼容OpenAI API的本地AI运行方案，无需GPU即可跑大模型，28.6K Star

如果你想在本地运行一个强大的AI模型，而不依赖云端服务，或者作为开发者需要一个灵活可定制的AI工具来满足项目需求，LocalAI 是一个值得关注的选择。

什么是 LocalAI

LocalAI 是一个完全开源免费的 OpenAI 替代方案，它遵循 OpenAI API 规范，能让你在普通的消费级硬件上，无需 GPU 就能运行大型语言模型（LLMs）、生成图像和音频等。所有计算都在本地设备上完成，数据不上传云端，既保护隐私又能节省云服务费用。

功能特点

• 本地运行，数据隐私有保障：所有计算都在你的设备上完成，确保数据安全和隐私。
• 支持多种AI模型：无论是 GPT-like 的文本生成模型，还是图像分类、语音识别模型都能应对，支持 LLaMA、Stable Diffusion 等多种开源模型。
• 高度可定制：提供丰富的 API 和插件系统，开发者可以调整模型参数，甚至集成到自己的应用中。
• 轻量且高效：设计轻量，能在普通硬件上流畅运行，同时也支持 GPU 加速以进一步提升性能。

开源成就

目前 LocalAI 在 GitHub 上已获得 28.6K Star。

安装与使用

LocalAI 通过 Docker 容器部署，提供 CPU 版和 NVIDIA GPU 版两种镜像。

仅使用 CPU：

sudo docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu

使用 NVIDIA GPU（需有 NVIDIA 显卡及相应 CUDA 版本）：

sudo docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

容器启动后，使用浏览器访问 http://localhost:8080，即可打开 LocalAI 的 Web UI 页面，进行 AI 聊天、AI 画图等操作。

LocalAI 代表了 AI 技术平民化、本地化的趋势，无论你是开发者、研究者还是普通用户，都能获得一个安全、灵活且高效的本地方案。

开源地址：https://github.com/mudler/LocalAI