程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
编程
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
2026-07-13 05:12:59 +0800 CST
view 340
深度对比 vLLM 与 SGLang 两大 LLM 推理引擎:从 KV Cache、PagedAttention、RadixAttention、连续批处理、分块预填充、推测解码、P/D 分离到量化部署,配可直接运行的生产级代码与基准测试。
vLLM
SGLang
LLM推理
大模型部署
PagedAttention
RadixAttention
vLLM v1 Engine 架构深度拆解:从异步调度到 Chunked Prefill 的生产级推理引擎演进(2026实战指南)
编程
vLLM v1 Engine 架构深度拆解:从异步调度到 Chunked Prefill 的生产级推理引擎演进(2026实战指南)
2026-08-14 17:45:25 +0800 CST
view 131
深度拆解vLLM v1 Engine架构:Continuous Batching、Chunked Prefill、异步内存管理等核心特性,从源码到生产部署,配完整代码实战与性能基准测试
vLLM
LLM推理
PagedAttention
ContinuousBatching
GPU优化
生产部署
推测解码
Python
vLLM v1 Engine 深度拆解:Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍(2026生产实战)
编程
vLLM v1 Engine 深度拆解:Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍(2026生产实战)
2026-08-14 17:46:24 +0800 CST
view 127
深度拆解vLLM v1 Engine架构:Continuous Batching、Chunked Prefill、异步内存管理等核心特性,配完整代码实战与性能基准测试
vLLM
LLM推理
PagedAttention
ContinuousBatching
GPU优化
生产部署
推测解码
Python
AirLLM 深度实战:8GB 显存跑 405B 大模型——分层推理如何拆掉「显存墙」(2026 实战指南)
编程
AirLLM 深度实战:8GB 显存跑 405B 大模型——分层推理如何拆掉「显存墙」(2026 实战指南)
2026-08-15 09:44:41 +0800 CST
view 99
深度拆解 AirLLM 分层推理架构:8GB 显存跑 405B 大模型的时间换空间哲学,从 mmap 权重映射、单层计算流水线到完整 Python 实战与 15 条生产级优化建议。
AirLLM
大模型推理
显存优化
LLM
内存推理
Python
性能优化
GPU
NVIDIA garak + SkillSpector 深度实战:当 AI Agent 学会「安全自检」——从 LLM 漏洞扫描到技能市场治理的完全指南(2026)
编程
NVIDIA garak + SkillSpector 深度实战:当 AI Agent 学会「安全自检」——从 LLM 漏洞扫描到技能市场治理的完全指南(2026)
2026-06-13 12:20:18 +0800 CST
view 974
深入剖析 NVIDIA garak 和 SkillSpector 两款 AI 安全工具,解读 arXiv:2606.01494 论文关于三方扫描器低重合度的发现,提供 Agent Skills 安全治理的完整指南。
NVIDIA
garak
SkillSpector
AI安全
LLM
Agent
推测解码深度实战:用「小模型猜、大模型验」的并行推理让 LLM 吞吐量翻倍(2026 生产指南)
编程
推测解码深度实战:用「小模型猜、大模型验」的并行推理让 LLM 吞吐量翻倍(2026 生产指南)
2026-08-15 11:15:10 +0800 CST
view 124
深度拆解推测解码技术原理与生产实战:从拒绝采样数学原理到 vLLM 实现架构,配完整 Python 代码与性能基准测试,实现 2-2.5x 无损吞吐量提升
推测解码
Speculative Decoding
LLM推理
vLLM
性能优化
GPU加速
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
编程
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
2026-05-18 08:22:35 +0800 CST
view 943
全面解析 vLLM 推理引擎的核心架构,从 PagedAttention 原理到生产级部署实战,涵盖量化推理、多GPU并行、性能调优等完整技术栈
vLLM
LLM推理
PagedAttention
GPU优化
量化推理
深度解析
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 321
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
2026-06-05 04:13:34 +0800 CST
view 559
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
2026-06-05 04:13:52 +0800 CST
view 773
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
编程
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
2026-05-05 19:01:32 +0800 CST
view 1394
深度解析 vLLM 2026年第二季度技术路线图,涵盖 v1 架构核心设计、九大 SIG 技术演进方向、生产级部署实战经验。
vLLM
LLM推理
架构设计
性能优化
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
编程
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
2026-07-20 17:18:01 +0800 CST
view 350
深度解析SGLang推理框架核心技术:RadixAttention基数树KV缓存、连续批处理与CPU-GPU调度重叠、约束解码结构化输出、CVE-2026-5760安全漏洞修复、生产部署实战,以及与vLLM的完整对比选型指南。
SGLang
LLM
RadixAttention
PagedAttention
推理优化
Python
深度学习
向量检索
Agent
RAG
vLLM
CVE
Rust
高性能计算
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
编程
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
2026-07-20 18:18:40 +0800 CST
view 453
深度拆解 Ollama 工程架构:Go 服务层封装 llama.cpp、CGO 内存边界、GGUF 量化格式、Modelfile DSL、OpenAI 兼容层、Metal GPU 加速与生产部署实战,配完整 Go/Python/Shell 代码示例。
Ollama
本地大模型
llama.cpp
GGUF
Go
CGO
量化
Apple Silicon
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 768
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
编程
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
2026-08-01 08:18:35 +0800 CST
view 307
深度拆解 llama.cpp 全栈架构:从 GGML 到 GGUF 格式演进、K-Quant 量化内核原理、ggml 张量计算图层、libllama 推理逻辑层、10+ 硬件后端调度,以及生产调优实战与踩坑清单。
llama.cpp
GGUF
GGML
量化
本地LLM
CPU推理
GPU加速
跨平台
K-Quant
Agent Skills 深度拆解:当 AI 的能力开始「软件化」——从 SKILL.md 开放规范到 GitHub 前十 8 席 Agent 的生态手术
编程
Agent Skills 深度拆解:当 AI 的能力开始「软件化」——从 SKILL.md 开放规范到 GitHub 前十 8 席 Agent 的生态手术
2026-08-10 06:43:09 +0800 CST
view 170
深度拆解 Agent Skills 生态:SKILL.md 规范逐行解剖、渐进式披露原理、GitHub 前十 8 席 Agent 的 Skills/Radio/Memory 分层、各家实现横评,附两个生产级 Skill 实战与性能成本账。
Agent Skills
AI Agent
SKILL.md
Anthropic
Claude Code
技能生态
MCP
开源
Ollama v0.20 Tool Calling 深度解析:让本地大模型真正「动起手来」——从协议原理到生产级多工具 Agent 系统实战
编程
Ollama v0.20 Tool Calling 深度解析:让本地大模型真正「动起手来」——从协议原理到生产级多工具 Agent 系统实战
2026-07-03 08:43:53 +0800 CST
view 380
深度解析 Ollama v0.20 的 Tool Calling 能力:从 JSON Schema 协议原理、HTTP API 调用循环,到生产级多工具 Agent 系统的完整实战(天气查询/数据库查询/Web搜索),配套 LangChain4j 集成方案与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
LangChain4j
生产级实战
Ollama v0.20 Tool Calling 深度解析:本地 AI Agent 的最后一公里——JSON Schema 协议 × 生产级多工具实战 × 安全防护全指南
编程
Ollama v0.20 Tool Calling 深度解析:本地 AI Agent 的最后一公里——JSON Schema 协议 × 生产级多工具实战 × 安全防护全指南
2026-07-03 08:44:52 +0800 CST
view 310
深度解析 Ollama v0.20 的 Tool Calling 能力,从 JSON Schema 协议原理到生产级多工具 Agent 实战,含安全防护与性能基准测试。
Ollama
AI Agent
Tool Calling
本地大模型
LangChain4j
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
编程
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
2026-07-03 08:45:53 +0800 CST
view 331
深度解析 Ollama v0.20 Tool Calling,从协议原理到生产级多工具 Agent 实战,含天气查询、数据库查询、Web搜索三大实战案例与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
编程
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
2026-07-03 08:47:18 +0800 CST
view 346
深度长文:Ollama v0.20 Tool Calling 从协议原理到生产级多工具 Agent 实战,含天气查询、数据库操作、Web搜索三大案例与安全防护策略(2026)。
Ollama
AI Agent
Tool Calling
本地大模型
生产级
AI 生成界面为什么总是样板间? taste-skill 如何用 SKILL.md 教 AI 学会设计品味
编程
AI 生成界面为什么总是样板间? taste-skill 如何用 SKILL.md 教 AI 学会设计品味
2026-07-08 12:47:28 +0800 CST
view 526
taste-skill 通过将设计品味封装为可组合的 SKILL.md 技能集,解决 AI 生成界面千篇一律的核心问题。本文深入解析其三段旋钮系统、设计技能体系与工程实践。
AI编程
taste-skill
前端设计
SKILL.md
Claude Code
设计系统
AI 生成界面为什么总是样板间? taste-skill 用 SKILL.md 给 AI 装上设计品味
编程
AI 生成界面为什么总是样板间? taste-skill 用 SKILL.md 给 AI 装上设计品味
2026-07-08 12:50:03 +0800 CST
view 467
taste-skill 通过将设计品味封装为可组合的 SKILL.md 技能集,解决 AI 生成界面千篇一律的核心问题。本文深入解析其三段旋钮系统、设计技能体系与工程实践。
AI编程
taste-skill
前端设计
SKILL.md
Claude Code
设计系统
AI Agent
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
编程
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
2026-07-15 10:13:07 +0800 CST
view 276
深度拆解 vLLM 核心架构:从 PagedAttention 分页内存管理、Continuous Batching 动态调度,到 Speculative Decoding、Prefix Caching 等高级特性,配完整代码示例与生产部署指南。
vLLM
PagedAttention
LLM推理
深度学习
GPU优化
Continuous Batching
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 630
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
94
95
96
97
98
...
127
下一页