程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 342
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
Hermes Agent 深度实战:从「LLM 审判官」到自进化 Skills——不训练模型也能越用越强的 Agent 工程全解(2026)
编程
Hermes Agent 深度实战:从「LLM 审判官」到自进化 Skills——不训练模型也能越用越强的 Agent 工程全解(2026)
2026-07-22 07:45:42 +0800 CST
view 198
深度解析 Hermes Agent 自进化机制:LLM 审判官、三层记忆系统、Skill 自动生成的工程实现。不训练模型也能越用越强的 Agent 架构全解,含源码分析、部署指南与竞品对比。
Hermes Agent
AI Agent
自进化
记忆系统
Skill生成
LLM
开源项目
Nous Research
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 500
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
编程
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
2026-07-27 03:44:38 +0800 CST
view 193
从显存字节到 CUDA kernel 源码级拆解 vLLM:PagedAttention 分页显存管理、Continuous Batching 连续批处理调度、Prefix Caching 前缀缓存与量化/投机解码实战,附完整代码与生产调参踩坑清单。
vLLM
PagedAttention
大模型推理
KV Cache
显存优化
连续批处理
量化
LLM Serving
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 540
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
编程
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
2026-07-16 12:50:04 +0800 CST
view 256
深度对比 llama.cpp 与 LiteBox 两大本地 LLM 推理框架:GGUF 格式设计、K-Quant 量化内核、KV cache 管理、多后端抽象、并发架构,配完整代码实战与性能实测数据。
llama.cpp
LiteBox
GGUF
量化
KV cache
本地LLM
推理框架
Rust
C/C++
模型压缩
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
编程
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46 +0800 CST
view 430
深度解析 vLLM 0.5 的 PagedAttention 架构原理,涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术,并通过代码实战和性能对比,帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM
PagedAttention
LLM推理
CUDA
KV Cache
深度学习
AI基础设施
Python
生产部署
性能优化
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
编程
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
2026-08-12 11:14:56 +0800 CST
view 72
深度拆解 2026 年四大主流推理框架 vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 的核心技术、性能对比与选型指南,涵盖 PagedAttention、Continuous Batching、量化优化、分布式推理与生产踩坑清单。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
KV Cache
PagedAttention
推理优化
量化
分布式推理
Svelte 5 深度实战:从编译时优化到 Runes 响应式系统——2026 年前端框架性能之巅完全指南
编程
Svelte 5 深度实战:从编译时优化到 Runes 响应式系统——2026 年前端框架性能之巅完全指南
2026-05-24 03:30:59 +0800 CST
view 627
在 React、Vue、Angular 三足鼎立的现代前端界,Svelte 5 带着编译时优化的革命性理念和 Runes 响应式系统强势来袭。本文将深入 Svelte 5 的内核架构,从编译器设计、响应式原理、组件机制到生产级性能优化,用大量代码示例和实战案例,带你掌握这款编译型框架的真正威力。
Svelte 5
前端框架
编译时优化
Runes
响应式编程
SvelteKit
性能优化
Web开发
Svelte 5 编译时优化完全指南:用 Runes 响应式系统碾压虚拟 DOM
编程
Svelte 5 编译时优化完全指南:用 Runes 响应式系统碾压虚拟 DOM
2026-05-24 03:31:37 +0800 CST
view 692
Svelte 5 的编译时优化和 Runes 响应式系统彻底颠覆了传统前端框架的性能模型。本文从编译器原理、响应式机制、组件架构到生产级性能优化,用大量代码示例和基准测试数据,证明 Svelte 如何碾压虚拟 DOM 框架。
Svelte 5
前端框架
编译时优化
Runes
响应式编程
SvelteKit
性能优化
Web开发
Svelte 5 深度实战:当响应式编程迎来编译期革命——从 Runes 细粒度响应系统到编译器架构重构、性能极限与生产级完全指南(2026)
编程
Svelte 5 深度实战:当响应式编程迎来编译期革命——从 Runes 细粒度响应系统到编译器架构重构、性能极限与生产级完全指南(2026)
2026-06-18 15:53:59 +0800 CST
view 445
Svelte 5 深度实战:从 Runes 响应系统到编译器架构重构,深入讲解 $state/$derived/$effect/$props,对比 React 19/Vue 3.5,附生产级 Todo 全栈项目与性能测试。
Svelte 5
Runes
前端框架
响应式编程
编译期优化
SvelteKit
TypeScript
性能优化
信号系统
Svelte 5 深度解析:Runes 革命与响应式编程的范式跃迁
编程
Svelte 5 深度解析:Runes 革命与响应式编程的范式跃迁
2026-05-12 14:11:40 +0800 CST
view 709
深度解析Svelte 5的重大革新:Runes响应式系统、//新语法、Snippets代码片段、TypeScript原生支持、性能提升33%。包含Runes系统深度解析、Svelte 4迁移指南、性能优化实战。
Svelte5
Runes系统
响应式编程
SvelteKit
Snippets
从OpenClaw到Hermes Agent:两款爆火开源AI Agent的对决与深层技术哲学
编程
从OpenClaw到Hermes Agent:两款爆火开源AI Agent的对决与深层技术哲学
2026-04-18 16:15:01 +0800 CST
view 675
深度解析OpenClaw与Hermes Agent的功能差异与底层架构:Skill体系谁按下启动键、记忆系统谁在替谁记事、上下文管理的确定性优先哲学,以及两者背后的干预递减光谱与自动化控制权之争。
AI Agent
OpenClaw
Hermes
NousResearch
Skill系统
记忆系统
自进化
GitHub
开源
技术哲学
Headroom深度解析:让AI Agent「吃得少、营养好」的上下文压缩革命
编程
Headroom深度解析:让AI Agent「吃得少、营养好」的上下文压缩革命
2026-07-05 04:43:37 +0800 CST
view 268
Headroom是一个开源的LLM上下文压缩中间件,能减少60-95%的token消耗,同时保持97%+的信息精度。本文深度解析其四层压缩管线、架构设计、使用模式和实战案例。
AI Agent
上下文压缩
Headroom
LLM
Token优化
Hermes Agent深度解析:四层记忆体系与五阶段闭环学习,自进化AI Agent的架构设计与工程实践
编程
Hermes Agent深度解析:四层记忆体系与五阶段闭环学习,自进化AI Agent的架构设计与工程实践
2026-07-23 10:43:45 +0800 CST
view 202
深度解析Nous Research开源的Hermes Agent:四层记忆体系、五阶段闭环学习机制、Skills技能系统与多Agent协作架构,从工程实践角度全面拆解自进化AI Agent的设计精髓
Hermes Agent
Nous Research
AI Agent
记忆系统
FTS5
闭环学习
Skills系统
自进化
Headroom 深度实战:当 AI Agent 遇见上下文压缩——从 Token 黑洞到 60-95% 暴降的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 遇见上下文压缩——从 Token 黑洞到 60-95% 暴降的生产级完全指南(2026)
2026-06-16 13:16:31 +0800 CST
view 754
Headroom 是一个 GitHub 上 26000+ Star 的开源项目,作为 AI Agent 的上下文压缩中间层,实测节省 60-95% Token,精度保留率 97%。本文从架构设计、六大压缩算法、CCR 可逆压缩、跨 Agent 记忆等维度深度拆解。
AI Agent
Headroom
Token优化
上下文压缩
LLM
开源项目
上下文压缩实战:Headroom 如何让 AI Agent 的 Token 成本暴降 95%——从原理深度拆解到生产级接入完全指南(2026)
编程
上下文压缩实战:Headroom 如何让 AI Agent 的 Token 成本暴降 95%——从原理深度拆解到生产级接入完全指南(2026)
2026-06-10 22:16:42 +0800 CST
view 796
Headroom上下文压缩中间层实战:Token节省60-95%,精度保留97%。从原理拆解到LangChain/OpenClaw生产级集成,附完整代码示例。
AI Agent
上下文压缩
Token优化
Headroom
LLM成本
LangChain
RAG
生产级实战
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
编程
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39 +0800 CST
view 1136
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构:分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比,提供生产级部署实战指南。
Google
端侧AI
LiteRT-LM
WebGPU
量化
KV Cache
TensorFlow Lite
LLM推理
Hermes Agent 自进化架构深度解析:五个阶段闭环学习系统如何让 AI Agent 真正「越用越聪明」
编程
Hermes Agent 自进化架构深度解析:五个阶段闭环学习系统如何让 AI Agent 真正「越用越聪明」
2026-07-24 02:15:32 +0800 CST
view 222
深度解析 Hermes Agent 的五大阶段闭环学习系统:Execute-Trigger-Review-Persist-Evolve。涵盖三层记忆架构、GRPO 强化学习内化、Tool Search 上下文优化,以及与 OpenClaw 的工程路线对比。
Hermes Agent
Nous Research
AI Agent
自进化
闭环学习系统
Skill
Memory
GRPO
OpenClaw
MCP
从"第二天失忆"到"越用越聪明":Hermes Agent 如何用 Skills 闭环系统重新定义 AI Agent
编程
从"第二天失忆"到"越用越聪明":Hermes Agent 如何用 Skills 闭环系统重新定义 AI Agent
2026-04-20 10:17:48 +0800 CST
view 885
深度解析 NousResearch 开源的 Hermes Agent,剖析其 Skills 闭环系统与四层记忆架构,探讨 AI Agent 如何从"健忘症患者"进化为"越用越聪明"的智能伙伴,对比 Claude Code、OpenClaw、LangChain Agent 等竞品,并提供完整部署指南。
AI Agent
Hermes Agent
NousResearch
自我进化
Skills
记忆系统
Python
OpenClaw
自进化 AI Agent 实战:Nous Research Hermes Agent 源码级深度拆解——三层记忆、闭环学习、Skill 工程全指南(2026)
编程
自进化 AI Agent 实战:Nous Research Hermes Agent 源码级深度拆解——三层记忆、闭环学习、Skill 工程全指南(2026)
2026-07-18 12:16:30 +0800 CST
view 285
源码级深度拆解 Nous Research 的 Hermes Agent:三层记忆架构、闭环自进化学习循环、Skill 自动创建机制、Honcho用户建模、200+模型接入,含完整代码实战与生产部署指南。
Hermes Agent
Nous Research
AI Agent
自进化
Skill系统
三层记忆
OpenClaw
Python
开源
数字员工
Hermes WebUI 深度实战:随时随地用手机/浏览器驱动 Hermes Agent——从 SSE 流式传输到多模型路由的完全指南(2026)
编程
Hermes WebUI 深度实战:随时随地用手机/浏览器驱动 Hermes Agent——从 SSE 流式传输到多模型路由的完全指南(2026)
2026-06-02 21:45:53 +0800 CST
view 807
Hermes WebUI 今日飙升 1725 星。本文深度拆解其架构设计、SSE流式传输机制、多模型路由策略、工具调用可视化实现,以及从本地部署到生产级优化的完整指南。
Hermes
WebUI
SSE
LLM
Agent
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
编程
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
2026-05-17 04:14:18 +0800 CST
view 637
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
编程
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
2026-05-17 04:14:33 +0800 CST
view 541
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
8
9
10
11
12
...
107
下一页