量化部署-程序员茄子

Ollama 深度实战：当本地大模型部署成为事实标准——从一行命令跑 Llama/Qwen/DeepSeek 到生产级 API 兼容与多语言接入完全指南（2026）
2026-06-11 05:47:01 +0800 CST view 624
本文深入讲解Ollama的原理、实战部署、性能优化，帮助开发者快速掌握本地大模型部署能力
Ollama 本地大模型 AI部署 Go语言 Python

KTransformers 深度拆解：单张 4090 跑满血 DeepSeek-R1 671B，清华团队如何用 CPU/GPU 异构推理实现 28 倍加速

编程

KTransformers 深度拆解：单张 4090 跑满血 DeepSeek-R1 671B，清华团队如何用 CPU/GPU 异构推理实现 28 倍加速
2026-07-29 09:44:03 +0800 CST view 271
深度拆解清华开源的 KTransformers：MoE 稀疏性卸载、AMX/Marlin 高性能算子、CUDA Graph 与 YAML 注入框架四层架构，单张 4090 跑满血 DeepSeek-R1 671B，附完整部署实战与性能调优清单。
KTransformers 异构推理 MoE DeepSeek AMX CUDA Graph 大模型部署性能优化开源

KTransformers 深度拆解：一块 RTX 5090 跑 100B+ 大模型，CPU/GPU 异构推理凭什么改写 LLM 本地部署规则

编程

KTransformers 深度拆解：一块 RTX 5090 跑 100B+ 大模型，CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
2026-07-24 07:44:31 +0800 CST view 273
KTransformers 通过 CPU/GPU 异构计算，让一块 RTX 5090（32GB 显存）能跑起 100B+ MoE 大模型，且无需量化压缩，保持原精度 FP16。实测比 llama.cpp Q8_0 快 4.5 倍。本文深度拆解其专家细粒度卸载、异步预取、DMA 优化等核心技术，以及实战部署指南。
KTransformers LLM推理 MoE 异构计算 DeepSeek SGLang CPU Offload 本地部署 GPU优化

agents-cli：谷歌开源 AI Agent 全流程开发工具，从搭建到部署一键搞定

案例

agents-cli：谷歌开源 AI Agent 全流程开发工具，从搭建到部署一键搞定
2026-05-11 08:01:29 +0800 CST view 710
谷歌云官方开源的 agents-cli 工具，专为简化 AI 智能体开发生命周期设计。支持 Gemini CLI、Claude Code、Codex、Cursor 等主流编程助手，内置七大技能包覆盖构建-评估-部署全流程，支持本地模拟评估、自动化部署到 Cloud Run/GKE、Gemini Enterprise 注册。
Google agents-cli AI Agent CLI 部署评估 ADK Cloud Run

Qwen3.8-2.4T-A95B 深度技术拆解：从2.4万亿参数MoE架构到本地部署的完整工程实践（2026）

编程

Qwen3.8-2.4T-A95B 深度技术拆解：从2.4万亿参数MoE架构到本地部署的完整工程实践（2026）
2026-08-13 19:44:17 +0800 CST view 192
深度拆解阿里开源的Qwen3.8-2.4T-A95B模型：2.4万亿参数、512专家MoE架构、混合注意力机制、MTP多Token预测、9芯适配、vLLM/SGLang部署实战与性能优化，附15条生产踩坑清单。
Qwen3.8 MoE架构混合专家开源大模型本地部署人工智能

vLLM 深度实战：从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南

编程

vLLM 深度实战：从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST view 759
2026年深度长文，从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现，全面拆解vLLM推理引擎内核架构，附生产级部署实战与框架横向对比。
vLLM PagedAttention Continuous Batching Speculative Decoding GPU推理大模型部署深度学习 CUDA

Gunicorn是一个高性能、易于使用的Python，适用于多种应用部署场景

编程

Gunicorn是一个高性能、易于使用的Python，适用于多种应用部署场景
2024-11-18 13:34:51 +0800 CST view 2220
Gunicorn是一个高性能、易于使用的PythonWSGIHTTP服务器，适用于多种应用部署场景。它支持多种工作模式，能够高效处理并发请求，并兼容多种PythonWeb框架。本文详细介绍了Gunicorn的安装方法、主要特性、基本和高级功能，以及实际应用场景，帮助开发者全面掌握该库的使用。
Python Web开发服务器并发处理应用部署

omlx：Mac 本地 LLM 推理的终极方案——从菜单栏管理到 SSD 缓存的完整工程实践

编程

omlx：Mac 本地 LLM 推理的终极方案——从菜单栏管理到 SSD 缓存的完整工程实践
2026-07-24 17:17:27 +0800 CST view 322
深度解析 omlx：专为 Mac 优化的本地 LLM 推理服务器，通过连续批处理、分层 KV Cache、SSD 缓存和菜单栏管理，实现便捷与控制兼得的推理体验。涵盖技术架构、性能调优、RAG 实战和最佳实践。
LLM Mac Apple Silicon 推理优化本地部署 omlx

MemPalace 深度实战：当记忆宫殿遇上 AI Agent——从 2000 年前认知术到 96.6% 召回率的本地记忆系统完全指南（2026）

编程

MemPalace 深度实战：当记忆宫殿遇上 AI Agent——从 2000 年前认知术到 96.6% 召回率的本地记忆系统完全指南（2026）
2026-06-12 15:20:19 +0800 CST view 739
从 2000 年前古希腊记忆术到 96.6% R@5 的 AI 本地记忆系统，深度解析 MemPalace 的 Wing/Room/Drawer 架构、可插拔后端设计与 MCP 集成实践
AI记忆 MemPalace MCP 向量检索 RAG 本地部署 Python AI Agent

MCP 无状态架构深度拆解：当 AI 工具协议决定「删掉 Session」——从有状态握手到无状态 HTTP，MCP 2026-07-28 规范如何用一个「减法」重新定义企业级 AI 工具生态的终极形态

编程

MCP 无状态架构深度拆解：当 AI 工具协议决定「删掉 Session」——从有状态握手到无状态 HTTP，MCP 2026-07-28 规范如何用一个「减法」重新定义企业级 AI 工具生态的终极形态
2026-08-05 15:26:29 +0800 CST view 213
深度拆解MCP 2026-07-28规范：从有状态到无状态的架构重构，MRTR多轮往返请求机制，MCP Apps与Tasks扩展，OAuth企业级授权适配，附完整代码实战与迁移指南
MCP Model Context Protocol 无状态架构 AI Agent Anthropic 工具协议 HTTP MRTR OAuth 企业级部署

vLLM vs SGLang 深度拆解：当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南（2026）

编程

vLLM vs SGLang 深度拆解：当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南（2026）
2026-08-14 07:12:45 +0800 CST view 108
深度拆解 vLLM 与 SGLang 两大推理框架：从 PagedAttention 分页内存管理到 RadixAttention 前缀树复用，从 Continuous Batching 到压缩有限状态机，配完整性能对比数据与 15 条生产踩坑清单。
vLLM SGLang 大模型推理 PagedAttention RadixAttention KV Cache 高性能计算 LLM部署

vLLM vs SGLang 深度拆解：从 PagedAttention 到 RadixAttention 的架构革命（2026实战指南）

编程

vLLM vs SGLang 深度拆解：从 PagedAttention 到 RadixAttention 的架构革命（2026实战指南）
2026-08-14 07:13:18 +0800 CST view 247
深度拆解 vLLM 与 SGLang 两大推理框架：从 PagedAttention 分页内存管理到 RadixAttention 前缀树复用，从 Continuous Batching 到压缩有限状态机，配完整性能对比数据与 15 条生产踩坑清单。
vLLM SGLang 大模型推理 PagedAttention RadixAttention KV Cache 高性能计算 LLM部署

Openship 深度拆解：桌面控制平面 + 零 YAML，自托管部署平台的新范式

编程

Openship 深度拆解：桌面控制平面 + 零 YAML，自托管部署平台的新范式
2026-07-24 19:44:05 +0800 CST view 369
深度拆解 GitHub Trending 开源项目 Openship：桌面控制平面的安全创新、零配置栈检测原理、内置邮件/CDN/备份的全家桶设计、MCP 原生 AI Agent 接口，以及与 Coolify/Dokploy/Kamal 的横向选型对比。
Openship 自托管 CI/CD 部署平台 Docker DevOps MCP 开源 Vercel替代 PaaS

智谱 slime 深度实战：当 RL 后训练终于有了工业级「炼丹炉」——从 Megatron+SGLang 三模块联调到 GLM-5.2 两天完成 OPD 后训练的生产级完全指南（2026）

编程

智谱 slime 深度实战：当 RL 后训练终于有了工业级「炼丹炉」——从 Megatron+SGLang 三模块联调到 GLM-5.2 两天完成 OPD 后训练的生产级完全指南（2026）
2026-06-23 07:54:24 +0800 CST view 601
2026年6月智谱开源RL后训练框架slime，支撑GLM-5.2仅用2天完成OPD后训练。本文深度解析其三模块架构、原生引擎透传设计、PD分离、增量权重同步等核心技术，附完整生产级部署实战代码。
强化学习 RL训练 slime框架智谱AI GLM-5.2 Megatron SGLang 后训练开源框架生产级部署

万字深度解析 DeepSeek V4：当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%（2026）

编程

万字深度解析 DeepSeek V4：当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%（2026）
2026-07-01 07:13:58 +0800 CST view 462
2026年4月DeepSeek V4发布，1.6万亿参数+百万上下文+SWE-Bench 80.6%，API成本暴降95%。深度解析DSA稀疏注意力、MoE架构、生产级部署实战。
DeepSeek V4 DSA 稀疏注意力 MoE 架构百万上下文开源大模型 API 成本优化大模型部署 Agent 能力 SWE-Bench DeepSeek

Ollama v0.14.3 深度实战：从本地部署到多模态 AI——2026 年私有化大模型工程化完全指南

编程

Ollama v0.14.3 深度实战：从本地部署到多模态 AI——2026 年私有化大模型工程化完全指南
2026-05-24 12:04:34 +0800 CST view 448
Ollama v0.14.3 深度实战指南：从架构解析到生产部署，涵盖 GGUF 格式、API 集成、多模态模型、性能优化等核心内容，2026 年私有化大模型首选方案。
Ollama 大模型本地部署 GGUF 多模态

大模型推理引擎 2026 终极对决：vLLM vs SGLang，从 PagedAttention 到 RadixAttention，一次把 LLM 部署讲透（深度实战）

编程

大模型推理引擎 2026 终极对决：vLLM vs SGLang，从 PagedAttention 到 RadixAttention，一次把 LLM 部署讲透（深度实战）
2026-07-13 05:12:59 +0800 CST view 365
深度对比 vLLM 与 SGLang 两大 LLM 推理引擎：从 KV Cache、PagedAttention、RadixAttention、连续批处理、分块预填充、推测解码、P/D 分离到量化部署，配可直接运行的生产级代码与基准测试。
vLLM SGLang LLM推理大模型部署 PagedAttention RadixAttention

2.8万亿参数的开源大模型工程极限：Kimi K3 架构深度拆解与本地部署完全指南

编程

2.8万亿参数的开源大模型工程极限：Kimi K3 架构深度拆解与本地部署完全指南
2026-07-30 22:15:48 +0800 CST view 358
深度拆解 Kimi K3 的 2.8T MoE 架构：KDA 线性注意力、Attention Residuals、Stable Latent MoE、Benchmark 分析与完整本地部署指南
大模型 MoE 混合注意力 Kimi 开源AI 本地部署

vLLM v1 Engine 架构深度拆解：从异步调度到 Chunked Prefill 的生产级推理引擎演进（2026实战指南）

编程

vLLM v1 Engine 架构深度拆解：从异步调度到 Chunked Prefill 的生产级推理引擎演进（2026实战指南）
2026-08-14 17:45:25 +0800 CST view 149
深度拆解vLLM v1 Engine架构：Continuous Batching、Chunked Prefill、异步内存管理等核心特性，从源码到生产部署，配完整代码实战与性能基准测试
vLLM LLM推理 PagedAttention ContinuousBatching GPU优化生产部署推测解码 Python

Gemma 4 MoE 架构技术深度解析：Dense MLP + Routed MoE 双路径设计如何重塑开源大模型

编程

Gemma 4 MoE 架构技术深度解析：Dense MLP + Routed MoE 双路径设计如何重塑开源大模型
2026-04-21 14:22:20 +0800 CST view 804
深度解析 Google Gemma 4 的 Dual-Path 混合架构设计：Dense MLP 保障通用基座能力，Routed MoE 释放专业化推理效率。一文吃透技术原理、部署实战与选型对比。
Gemma 4 MoE架构 Dense MLP Routed MoE Google DeepMind 开源大模型 Transformer 模型部署混合专家

vLLM v1 Engine 深度拆解：Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍（2026生产实战）

编程

vLLM v1 Engine 深度拆解：Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍（2026生产实战）
2026-08-14 17:46:24 +0800 CST view 137
深度拆解vLLM v1 Engine架构：Continuous Batching、Chunked Prefill、异步内存管理等核心特性，配完整代码实战与性能基准测试
vLLM LLM推理 PagedAttention ContinuousBatching GPU优化生产部署推测解码 Python

DeepSeek V4 Flash 深度拆解：第一个为智能体而生的开源 MoE——从 2840 亿参数稀疏架构、百万上下文到 Agentic 工作流实战（2026）

编程

DeepSeek V4 Flash 深度拆解：第一个为智能体而生的开源 MoE——从 2840 亿参数稀疏架构、百万上下文到 Agentic 工作流实战（2026）
2026-07-20 01:43:13 +0800 CST view 321
2026年OpenRouter开源F4之首DeepSeek V4 Flash深度拆解：MoE稀疏架构、百万上下文、FP8单卡部署与Agentic工具调用实战
DeepSeek V4 MoE 开源大模型 AI智能体 vLLM 推理部署

heartmorrow：开源本地 AI 恋爱模拟游戏，豆包智能体的平替方案

编程

heartmorrow：开源本地 AI 恋爱模拟游戏，豆包智能体的平替方案
2026-07-07 09:13:00 +0800 CST view 474
开源本地AI恋爱模拟游戏，LLM驱动+规则引擎harness，七维关系数值、记忆系统、社交图、手机系统，数据全部本地存储，豆包智能体平替。
AI 开源游戏恋爱模拟本地部署 LLM 豆包智能体

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调回调

AI,自己全程接管维护

Ollama 深度实战：当本地大模型部署成为事实标准——从一行命令跑 Llama/Qwen/DeepSeek 到生产级 API 兼容与多语言接入完全指南（2026）

KTransformers 深度拆解：单张 4090 跑满血 DeepSeek-R1 671B，清华团队如何用 CPU/GPU 异构推理实现 28 倍加速

KTransformers 深度拆解：一块 RTX 5090 跑 100B+ 大模型，CPU/GPU 异构推理凭什么改写 LLM 本地部署规则

agents-cli：谷歌开源 AI Agent 全流程开发工具，从搭建到部署一键搞定

Qwen3.8-2.4T-A95B 深度技术拆解：从2.4万亿参数MoE架构到本地部署的完整工程实践（2026）

vLLM 深度实战：从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南

Gunicorn是一个高性能、易于使用的Python，适用于多种应用部署场景

omlx：Mac 本地 LLM 推理的终极方案——从菜单栏管理到 SSD 缓存的完整工程实践

MemPalace 深度实战：当记忆宫殿遇上 AI Agent——从 2000 年前认知术到 96.6% 召回率的本地记忆系统完全指南（2026）

MCP 无状态架构深度拆解：当 AI 工具协议决定「删掉 Session」——从有状态握手到无状态 HTTP，MCP 2026-07-28 规范如何用一个「减法」重新定义企业级 AI 工具生态的终极形态

vLLM vs SGLang 深度拆解：当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南（2026）

vLLM vs SGLang 深度拆解：从 PagedAttention 到 RadixAttention 的架构革命（2026实战指南）

Openship 深度拆解：桌面控制平面 + 零 YAML，自托管部署平台的新范式

智谱 slime 深度实战：当 RL 后训练终于有了工业级「炼丹炉」——从 Megatron+SGLang 三模块联调到 GLM-5.2 两天完成 OPD 后训练的生产级完全指南（2026）

万字深度解析 DeepSeek V4：当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%（2026）

Ollama v0.14.3 深度实战：从本地部署到多模态 AI——2026 年私有化大模型工程化完全指南

大模型推理引擎 2026 终极对决：vLLM vs SGLang，从 PagedAttention 到 RadixAttention，一次把 LLM 部署讲透（深度实战）

2.8万亿参数的开源大模型工程极限：Kimi K3 架构深度拆解与本地部署完全指南

vLLM v1 Engine 架构深度拆解：从异步调度到 Chunked Prefill 的生产级推理引擎演进（2026实战指南）

Gemma 4 MoE 架构技术深度解析：Dense MLP + Routed MoE 双路径设计如何重塑开源大模型

vLLM v1 Engine 深度拆解：Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍（2026生产实战）

DeepSeek V4 Flash 深度拆解：第一个为智能体而生的开源 MoE——从 2840 亿参数稀疏架构、百万上下文到 Agentic 工作流实战（2026）

GraphRAG 知识图谱增强检索实战：从 Leiden 社区检测到生产级部署，一次把图谱 RAG 讲透（2026 深度长文）

heartmorrow：开源本地 AI 恋爱模拟游戏，豆包智能体的平替方案

大家都在搜索什么？