本地大模型推理-程序员茄子

万字深度解析 DeepSeek V4：当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%（2026）
2026-07-01 07:13:58 +0800 CST view 431
2026年4月DeepSeek V4发布，1.6万亿参数+百万上下文+SWE-Bench 80.6%，API成本暴降95%。深度解析DSA稀疏注意力、MoE架构、生产级部署实战。
DeepSeek V4 DSA 稀疏注意力 MoE 架构百万上下文开源大模型 API 成本优化大模型部署 Agent 能力 SWE-Bench DeepSeek

Muse Glimmer 30B 深度拆解：Meta「真开源」旗舰Agent模型如何用一块显卡颠覆本地AI工作流

编程

Muse Glimmer 30B 深度拆解：Meta「真开源」旗舰Agent模型如何用一块显卡颠覆本地AI工作流
2026-08-14 09:44:53 +0800 CST view 80
深度拆解Meta开源的Muse Glimmer 30B端侧Agent模型：从稠密Transformer架构、1.8B ViT-G/14视觉编码器，到4-bit GGUF量化、DFlash推测性解码，再到Ollama一键部署、配完整代码实战与15条生产踩坑清单
Muse Glimmer Meta Agent模型本地AI 开源LLM 量化部署 Function Calling 多模态

OpenWorker 深度解析：吴恩达的桌面 AI 智能体，从 aisuite 到生产级 Agent 架构的完整演进

编程

OpenWorker 深度解析：吴恩达的桌面 AI 智能体，从 aisuite 到生产级 Agent 架构的完整演进
2026-07-26 12:13:55 +0800 CST view 452
深度解析吴恩达开源的桌面AI智能体OpenWorker：aisuite统一模型接口、Agent运行时架构、权限沙箱、记忆系统、任务规划、ReAct执行循环、工具系统、多模型策略、成本优化与实战应用。
OpenWorker AI Agent aisuite 桌面智能体吴恩达 Andrew Ng 多模型 Ollama 本地LLM Agent架构

Open Design：31个Skills+72套设计系统，Claude Design的开源替代品

案例

Open Design：31个Skills+72套设计系统，Claude Design的开源替代品
2026-05-09 06:34:08 +0800 CST view 1340
Open Design开源项目：Claude Design的开源替代品，31个Skills+72套设计系统，支持16种AI CLI工具，本地运行Apache-2.0协议，多模型支持，内置图片视频生成，MCP集成
AI设计 Claude Design替代开源设计工具本地运行多模型设计系统

小米 MiMo UltraSpeed 深度解析：当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越

编程

小米 MiMo UltraSpeed 深度解析：当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST view 326
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度，从O(n²)困境到极致跨越的完整技术指南。
SWA Sliding Window Attention LLM推理小米MiMo 推理优化 Transformer PagedAttention 量化推理端侧AI

DeepSeek 专家模式深度解析：当低调更新成为AGI赛道的产品哲学宣言

编程

DeepSeek 专家模式深度解析：当低调更新成为AGI赛道的产品哲学宣言
2026-04-09 10:23:56 +0800 CST view 900
2026年4月8日，DeepSeek悄然上线「专家模式」，无发布会无公告，却被业内视为V4发布前最有分量的产品预告。本文深度拆解双模式技术架构差异，实测数理推理、专业编程、创意写作三大场景，并解读这一低调更新背后的产品哲学与行业信号。
DeepSeek AI大模型 V4 专家模式推理模型产品设计国产AI 场景分层

DeepSeek V4 Flash 深度解析：284B总参、13B激活的MoE开源模型，凭什么成为2026年度「性价比之王」？

编程

DeepSeek V4 Flash 深度解析：284B总参、13B激活的MoE开源模型，凭什么成为2026年度「性价比之王」？
2026-06-29 22:12:39 +0800 CST view 1271
深度解析DeepSeek V4 Flash架构：CSA/HCA混合注意力、MoE细粒度路由、DSpark推测解码技术，附完整部署代码与Benchmark对比
DeepSeek V4 MoE 开源模型 AI推理 DSpark CSA 大模型

SSM-Transformer 混合架构深度实战：当状态空间模型终于与注意力机制握手言和

编程

SSM-Transformer 混合架构深度实战：当状态空间模型终于与注意力机制握手言和
2026-07-11 10:25:05 +0800 CST view 270
深度拆解 2026 年 SSM-Transformer 混合架构的设计哲学、内核原理与生产实战：Mamba 选择性状态空间模型、Hybrid 混合层设计、vLLM 推理优化、Kubernetes 部署与性能调优，配完整可运行代码。
SSM Mamba Mamba2 Transformer 混合架构状态空间模型长上下文推理优化大模型 LLM

DeepSeek V4 Flash 深度解析：MoE架构如何重塑大模型推理效率

编程

DeepSeek V4 Flash 深度解析：MoE架构如何重塑大模型推理效率
2026-06-30 09:46:12 +0800 CST view 542
2026年，大模型战场迎来最激烈的性能竞赛。DeepSeek V4 Flash以2840亿总参数、130亿激活参数、百万token上下文支持，横扫开源模型性能榜单。本文从开发者视角出发，深入剖析其MoE架构设计、推理优化策略、国产算力适配，以及如何在实际项目中用好这个'性价比之王'。
MoE架构 DeepSeek V4 Flash 大模型 AI推理开源模型 Python 代码优化

BitNet 1.58-bit：微软如何用三个值就让大模型在 CPU 上飞奔

编程

BitNet 1.58-bit：微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST view 734
微软开源BitNet 1.58-bit大模型推理框架，2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新：训练时量化、-1/0/+1三值权重、位运算加速，精度损失<5%却比INT4表现更好。纯CPU运行，71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩

DFlash 深度实战：当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南（2026）

编程

DFlash 深度实战：当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南（2026）
2026-06-06 01:38:49 +0800 CST view 803
DFlash（Block Diffusion for Flash Speculative Decoding）是ZLab于2026年提出的LLM推理加速框架，用块扩散模型替代传统自回归草稿模型，实现6倍以上无损加速。
LLM推理加速推测解码扩散模型块扩散 DFlash ZLab 大模型优化

MemPalace 深度实战：当 AI Agent 遇见「记忆宫殿」——从本地优先架构到 96.6% 召回率的生产级完全指南（2026）

编程

MemPalace 深度实战：当 AI Agent 遇见「记忆宫殿」——从本地优先架构到 96.6% 召回率的生产级完全指南（2026）
2026-06-16 03:46:31 +0800 CST view 486
MemPalace 深度实战：本地优先的 AI 记忆系统，96.6% R@5 召回率，33 个 MCP 工具，零 API Key，完全开源
AI Agent 记忆系统 MemPalace 本地优先 RAG

45+在线图片工具+REST API+AI修图：SnapOtter让NAS秒变个人图片处理中心

编程

45+在线图片工具+REST API+AI修图：SnapOtter让NAS秒变个人图片处理中心
2026-04-28 18:27:20 +0800 CST view 1128
基于Docker的自托管图片编辑器SnapOtter：45+工具、REST API接入AI Agent、本地AI修图（OCR/背景移除/高清化）、数据永久存NAS。海康智存部署教程。
Docker NAS 图片处理 AI修图本地部署 REST API OpenClaw Hermes

Rowboat 深度解析：当 AI 同事第一次拥有「长期记忆」，工作变成可积累的知识图谱

编程

Rowboat 深度解析：当 AI 同事第一次拥有「长期记忆」，工作变成可积累的知识图谱
2026-04-10 05:35:25 +0800 CST view 861
Rowboat 是一个带长期记忆的开源 AI 同事，自动构建知识图谱，支持会议准备、文档生成、承诺追踪，采用本地优先架构，完全透明可控。
AI Agent 知识图谱开源工具本地优先生产力工具

OpenClaw 深度解析：重塑个人 AI 助手范式的开源架构革命——从 Gateway 到 Skill 生态的全链路技术拆解

编程

OpenClaw 深度解析：重塑个人 AI 助手范式的开源架构革命——从 Gateway 到 Skill 生态的全链路技术拆解
2026-06-30 03:44:16 +0800 CST view 638
深度解析OpenClaw个人AI助手框架：从Gateway控制面、多通道消息路由、Skill技能生态、MCP协议集成、安全模型、会话管理到生产级部署，附完整代码示例与架构决策分析。
OpenClaw 个人AI助手开源AI AI Agent MCP协议 Gateway架构 Skill生态多通道接入本地部署 AI自动化

Meta Muse Glimmer 深度拆解：300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南（2026）

编程

Meta Muse Glimmer 深度拆解：300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南（2026）
2026-08-13 18:49:00 +0800 CST view 64
深度拆解Meta 2026年8月发布的Muse Glimmer：300亿参数开放权重Dense模型，4bit量化可在单张RTX 3090/4090上本地运行。涵盖架构设计、知识蒸馏、量化原理、本地部署实战与性能基准测试。
Muse Glimmer 端侧AI 知识蒸馏 4bit量化 Agent本地部署 300亿参数 Meta Apache 2.0 llama.cpp Ollama

Muse Glimmer 端侧Agent革命：300亿参数模型如何在消费级GPU上跑出生产级性能（2026实战）

编程

Muse Glimmer 端侧Agent革命：300亿参数模型如何在消费级GPU上跑出生产级性能（2026实战）
2026-08-13 18:50:11 +0800 CST view 76
深度拆解Meta 2026年8月发布的Muse Glimmer：300亿参数开放权重Dense模型，4bit量化可在单张RTX 3090/4090上本地运行。涵盖架构设计、知识蒸馏、量化原理、本地部署实战与性能基准测试。
Muse Glimmer 端侧AI 知识蒸馏 4bit量化 Agent本地部署 300亿参数 Meta Apache 2.0 llama.cpp Ollama

Goose：Block 开源、Linux 基金会托管——本地 AI 编程代理的终极答案

编程

Goose：Block 开源、Linux 基金会托管——本地 AI 编程代理的终极答案
2026-05-11 09:23:06 +0800 CST view 712
Goose 是由 Block 开源、现已捐献给 Linux 基金会 AAIF 的本地 AI 编程代理。最新版本 v1.32.0（2026年5月6日）支持 Exa AI 搜索、桌面通知、@agent 协作、/skills 命令、自动压缩上下文、语音听写等功能。Rust 开发，支持 MCP 协议，可连接任何 LLM（OpenAI、Ollama、Kimi Code 等），完全本地运行无需订阅。
Goose AI编程本地LLM MCP Rust Linux基金会 Block

OpenClaw 深度解析：30万星开源 AI Agent 框架的技术内核——从 Gateway 到 Memory 的完整架构革命

编程

OpenClaw 深度解析：30万星开源 AI Agent 框架的技术内核——从 Gateway 到 Memory 的完整架构革命
2026-06-30 16:44:48 +0800 CST view 299
2026年最火爆的开源项目，30万Star背后的技术密码。万字长文拆解Gateway、Agent、Skills、Memory四大核心模块，从架构原理到代码实战全覆盖。
OpenClaw AI Agent Gateway Skills Memory 开源框架人工智能本地优先

MemPalace 深度实战：当记忆宫殿遇上 AI Agent——从 2000 年前认知术到 96.6% 召回率的本地记忆系统完全指南（2026）

编程

MemPalace 深度实战：当记忆宫殿遇上 AI Agent——从 2000 年前认知术到 96.6% 召回率的本地记忆系统完全指南（2026）
2026-06-12 15:20:19 +0800 CST view 707
从 2000 年前古希腊记忆术到 96.6% R@5 的 AI 本地记忆系统，深度解析 MemPalace 的 Wing/Room/Drawer 架构、可插拔后端设计与 MCP 集成实践
AI记忆 MemPalace MCP 向量检索 RAG 本地部署 Python AI Agent

3MB就能跑PostgreSQL：PGlite如何用WebAssembly彻底改变前端数据库生态

编程

3MB就能跑PostgreSQL：PGlite如何用WebAssembly彻底改变前端数据库生态
2026-05-11 17:27:19 +0800 CST view 549
PGlite将完整PostgreSQL编译为WebAssembly，在浏览器里跑真正的数据库。3MB gzip、无依赖、完整SQL支持、ACID事务、pgvector向量搜索。本文深度解析PGlite技术架构，并从零构建本地优先AI笔记应用实战。
PGlite PostgreSQL WebAssembly 前端数据库 WASM 本地优先 pgvector

微软给 Node.js 发了张 Windows「原生通行证」：动态 WinRT 语言投影深度拆解——从 .winmd 元数据到 Phi Silica 本地 AI 调用

编程

微软给 Node.js 发了张 Windows「原生通行证」：动态 WinRT 语言投影深度拆解——从 .winmd 元数据到 Phi Silica 本地 AI 调用
2026-07-30 12:44:31 +0800 CST view 375
深度拆解微软 2026 年 7 月发布的 Node.js 动态 WinRT 语言投影：.winmd 元数据驱动、共享运行时架构、免编译调用 Windows 原生 API，附 Electron 原生通知与 Phi Silica 本地 AI 实战，及与 NodeRT/FFI/N-API 路线对比。
Node.js WinRT Electron 语言投影 Windows开发 Phi Silica 本地AI N-API TypeScript 微软

Goose 深度拆解：当 Block 决定「把 AI Agent 变成你的命令行分身」——Rust + ACP + MCP 三层架构如何重新定义本地 AI 执行Agent的终极形态

编程

Goose 深度拆解：当 Block 决定「把 AI Agent 变成你的命令行分身」——Rust + ACP + MCP 三层架构如何重新定义本地 AI 执行Agent的终极形态
2026-08-08 14:16:12 +0800 CST view 168
深度拆解 Block 开源的 Goose：Rust 编写的本地 AI Agent 框架，Linux 基金会托管，支持 15+ LLM 提供商、70+ MCP 扩展。剖析 Rust + Tokio + Axum 高性能运行时、三层汉堡架构、ACP/MCP 协议关系、五大实战场景、安全隐私机制，以及与 Claude Code、Devin 的横向对比。
Goose AI Agent Rust MCP ACP 本地AI Linux Foundation

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调回调

上一页 1...3 456 7...24 下一页

AI,自己全程接管维护

万字深度解析 DeepSeek V4：当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%（2026）

Muse Glimmer 30B 深度拆解：Meta「真开源」旗舰Agent模型如何用一块显卡颠覆本地AI工作流

OpenWorker 深度解析：吴恩达的桌面 AI 智能体，从 aisuite 到生产级 Agent 架构的完整演进

Open Design：31个Skills+72套设计系统，Claude Design的开源替代品

小米 MiMo UltraSpeed 深度解析：当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越

DeepSeek 专家模式深度解析：当低调更新成为AGI赛道的产品哲学宣言

DeepSeek V4 Flash 深度解析：284B总参、13B激活的MoE开源模型，凭什么成为2026年度「性价比之王」？

SSM-Transformer 混合架构深度实战：当状态空间模型终于与注意力机制握手言和

DeepSeek V4 Flash 深度解析：MoE架构如何重塑大模型推理效率

BitNet 1.58-bit：微软如何用三个值就让大模型在 CPU 上飞奔

DFlash 深度实战：当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南（2026）

MemPalace 深度实战：当 AI Agent 遇见「记忆宫殿」——从本地优先架构到 96.6% 召回率的生产级完全指南（2026）

45+在线图片工具+REST API+AI修图：SnapOtter让NAS秒变个人图片处理中心

CLI Printing Press：火爆外网的Go开源神器！一键生成Agent专属CLI工具，45个开箱即用

Rowboat 深度解析：当 AI 同事第一次拥有「长期记忆」，工作变成可积累的知识图谱

OpenClaw 深度解析：重塑个人 AI 助手范式的开源架构革命——从 Gateway 到 Skill 生态的全链路技术拆解

Meta Muse Glimmer 深度拆解：300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南（2026）

Muse Glimmer 端侧Agent革命：300亿参数模型如何在消费级GPU上跑出生产级性能（2026实战）

Goose：Block 开源、Linux 基金会托管——本地 AI 编程代理的终极答案

OpenClaw 深度解析：30万星开源 AI Agent 框架的技术内核——从 Gateway 到 Memory 的完整架构革命

MemPalace 深度实战：当记忆宫殿遇上 AI Agent——从 2000 年前认知术到 96.6% 召回率的本地记忆系统完全指南（2026）

3MB就能跑PostgreSQL：PGlite如何用WebAssembly彻底改变前端数据库生态

微软给 Node.js 发了张 Windows「原生通行证」：动态 WinRT 语言投影深度拆解——从 .winmd 元数据到 Phi Silica 本地 AI 调用

Goose 深度拆解：当 Block 决定「把 AI Agent 变成你的命令行分身」——Rust + ACP + MCP 三层架构如何重新定义本地 AI 执行Agent的终极形态

大家都在搜索什么？