编程 LocalAI 4.11:一个模型名后面挂本地+远端多条链路,失败自动切换

2026-10-15 21:04:40

LocalAI 4.11:一个模型名后面挂本地+远端多条链路,失败自动切换

LocalAI 4.11.0 已发布(2026-10-02,releases/tag/v4.11.0)。仓库在 github.com/mudler/LocalAI。这一版包含 243 个 PR、353 次 commit、79 个新 gallery 条目,是自托管推理服务器上改动较大的一次更新。下面记两条主线:模型故障转移链,以及签名 OCI 模型库。

模型故障转移链

一个模型名不再只对应一份权重。可以把本地目标和一个或多个远端目标注册在同一个模型名后面,请求进来后按链条尝试,失败就切下一个。重试发生在响应提交之前——也就是只有尚未开始向客户端输出内容的请求才有机会切换;第一个字节已经吐出去之后再失败,就没有静默换目标的空间了。

配套能力:

  • 健康状态可观测,能看到目标切换过程;
  • 可以从 API、MCP 工具或 React UI 把请求 pin 到某个具体目标。

取舍主要在 pin 上。不 pin 时是自动选择加自动降级,典型用法是本地算力当主力、远端当兜底。pin 之后这条链退化成单点,主动放弃回退能力,适合排查某个远端目标的行为差异,或者对同一 prompt 做可复现对比,不适合长期挂着。

签名 OCI 模型库

模型库改为以 OCI artifact 形式完整分发:拉取走标准 OCI 路径,落地前按 Sigstore 策略做签名校验,只有校验通过的才进本地。缓存侧使用 digest 绑定的 last-known-good,回退依据是某个特定 digest 对应、且此前已经通过校验的那一份,而不是「名字相同就复用」。

这套机制管的是同一条链的两端:来源可验证,出问题后回退到的也是可验证的那份。代价是引入 registry 与 Sigstore 依赖,纯离线、手工拷文件的部署路径和它不是一回事。

决策模型与 /v1/systemone

decisions 用例通过端点 /v1/systemone 回答结构化问题,覆盖选择、打分、noul 几类,答案带校验,gallery 里有配套的专用模型。

其余更新

  • 音频场景与记住的说话人:语音转写、说话人分离、声音事件检测、说话人识别合并到一处;Studio 可对录音分轨、预览干净区间,并按名字注册说话人。
  • Kimodo 文本转动画:POST /3d/animate 从文本生成骨骼运动,Studio 中预览并导出二进制 glTF 动画。
  • 单机操作页(Operate this machine):不启用分布式模式也能查看资源占用、本地已加载模型与日志,并能停止模型。
  • 安全与稳定性:路径限制修复、更严格的凭证检查、流式输出前的错误处理、保留流式 Responses 条目、更可靠的模型安装。
  • 另有聊天中的 PDF 附件抽取、更深的 Hugging Face 仓库发现、硬件检测改进等。

仓库:github.com/mudler/LocalAI

复制全文 生成海报 LocalAI 自托管 运维 AI

推荐文章

程序员茄子在线接单