程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
编程
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
2026-07-07 16:15:25 +0800 CST
view 35
深入解析2026年大模型推理中的KV Cache优化技术栈:从PagedAttention虚拟分页管理、Prefix Caching缓存复用、Speculative Decoding并行验证,到INT8量化与Continuous Batching生产实践,配合代码示例与性能对比,助你系统性掌握LLM推理优化的核心要领。
LLM
KV Cache
PagedAttention
Prefix Caching
vLLM
推理优化
Speculative Decoding
万字深度解析 Headroom:当 AI Agent 遇见上下文压缩革命——从60-95% Token节省到生产级集成的完整技术指南(2026)
编程
万字深度解析 Headroom:当 AI Agent 遇见上下文压缩革命——从60-95% Token节省到生产级集成的完整技术指南(2026)
2026-07-02 13:14:08 +0800 CST
view 129
深度解析 Headroom 开源上下文压缩工具:从60-95% Token节省到生产级集成,含完整代码实战与性能基准测试。
Headroom
AI Agent
上下文压缩
Token优化
LLM
Headroom 深度实战:当上下文压缩成为 AI Agent 的刚需基础设施——从 60% 到 95% 的 token 削减、CCR 可逆压缩与跨 Agent 记忆的生产级完全指南(2026)
编程
Headroom 深度实战:当上下文压缩成为 AI Agent 的刚需基础设施——从 60% 到 95% 的 token 削减、CCR 可逆压缩与跨 Agent 记忆的生产级完全指南(2026)
2026-06-19 03:55:30 +0800 CST
view 213
Headroom 深度实战指南:从架构、代码实战到性能优化,详解如何用上下文压缩把 AI Agent 的 token 成本砍掉 60%-95%。
Headroom
Context Compression
AI Agent
MCP
Token Optimization
Headroom 深度实战:当 AI Agent 学会压缩上下文——从 Token 暴降 60-95% 到生产级工程落地的完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 学会压缩上下文——从 Token 暴降 60-95% 到生产级工程落地的完全指南(2026)
2026-06-19 10:57:59 +0800 CST
view 400
深度拆解 Headroom 上下文压缩中间层架构设计与生产级落地
Headroom
AI Agent
上下文压缩
Token优化
LLM
万字深度解析 Headroom:当 AI Agent 遇见上下文压缩革命——从 Token 成本黑洞到 CCR 可逆存储的完整技术指南(2026)
编程
万字深度解析 Headroom:当 AI Agent 遇见上下文压缩革命——从 Token 成本黑洞到 CCR 可逆存储的完整技术指南(2026)
2026-07-03 02:14:09 +0800 CST
view 198
深度解析 GitHub Trending 榜首项目 Headroom:AI Agent 上下文压缩层,60-95% Token 节省,涵盖六大压缩算法、CCR 可逆存储、跨 Agent 记忆等核心机制,含完整代码实战。
Headroom
AI Agent
上下文压缩
Token优化
CCR
开源工具
AIGC
代码压缩
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 186
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
Headroom深度实战:当AI Agent学会「上下文减肥」——从60-95% Token压缩到零精度损失的工程完全指南(2026)
编程
Headroom深度实战:当AI Agent学会「上下文减肥」——从60-95% Token压缩到零精度损失的工程完全指南(2026)
2026-06-14 19:18:14 +0800 CST
view 327
全面拆解Headroom上下文压缩工具的原理、架构、接入方式与生产实践,解决AI Agent开发的Token成本与上下文窗口痛点
AI Agent
上下文压缩
Headroom
Token优化
LLM
Headroom深度实战:AI Agent上下文压缩完全指南——60-95% Token节省的零精度损失方案(2026)
编程
Headroom深度实战:AI Agent上下文压缩完全指南——60-95% Token节省的零精度损失方案(2026)
2026-06-14 19:19:54 +0800 CST
view 331
全面拆解Headroom上下文压缩工具的原理、架构、接入方式与生产实践,解决AI Agent开发的Token成本与上下文窗口痛点
AI Agent
上下文压缩
Headroom
Token优化
LLM
Headroom 深度实战:当 AI Agent 的上下文压缩层省下 95% Token——从 ContentRouter 智能路由到 CCR 可逆压缩、从 Claude Code 到 MCP 的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 的上下文压缩层省下 95% Token——从 ContentRouter 智能路由到 CCR 可逆压缩、从 Claude Code 到 MCP 的生产级完全指南(2026)
2026-06-20 06:24:34 +0800 CST
view 318
Headroom 是 AI Agent 的上下文压缩层,通过 ContentRouter、SmartCrusher、CodeCompressor、Kompress-base 与 CCR 可逆压缩,在 LLM 接收前削减 60–95% token。本文从架构、算法、代码实战到生产落地,提供完整指南。
Headroom
AI Agent
Context Compression
MCP
Token Optimization
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 17
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
Headroom 深度解析:AI Agent 上下文压缩引擎——从 Token 暴降 95% 的原理到生产级部署的完整技术指南(2026)
编程
Headroom 深度解析:AI Agent 上下文压缩引擎——从 Token 暴降 95% 的原理到生产级部署的完整技术指南(2026)
2026-07-04 04:42:34 +0800 CST
view 98
Headroom 深度解析:AI Agent 上下文压缩引擎,节省 60-95% Token 消耗,零侵入透明压缩层,含四种接入模式详解、压缩算法剖析、性能基准测试与生产级部署指南。
Headroom
AI Agent
上下文压缩
Token优化
成本优化
LangChain
Claude Code
Proxy模式
ML路由
Headroom 深度实战:当 AI Agent 学会「省着吃」——从 Token 暴降 60-95% 到可逆上下文压缩的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 学会「省着吃」——从 Token 暴降 60-95% 到可逆上下文压缩的生产级完全指南(2026)
2026-06-09 14:16:12 +0800 CST
view 277
Headroom 是一个开源的 AI Agent 上下文压缩中间层,通过六大专用算法实现 60-95% 的 Token 节省,CCR 可逆存储确保信息零丢失,跨 Agent 记忆打破协作孤岛。
AI Agent
Headroom
上下文压缩
Token优化
LLM
开源项目
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 285
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
Helidon 4.4:当 Java 微服务框架开始"长脑子",AI 编排不再是 Python 专利
编程
Helidon 4.4:当 Java 微服务框架开始"长脑子",AI 编排不再是 Python 专利
2026-04-08 15:04:17 +0800 CST
view 626
Oracle Helidon 4.4.0 引入 AI Agent 编排能力,Java 微服务框架进入 AI 原生时代。深度解析 Workflows、Dynamic Agents 两种执行模式,完整代码实战。
Helidon
Java
AI Agent
LangChain4j
微服务
百度 Unlimited OCR 深度技术解析:端到端多模态OCR模型架构与R-SWA注意力机制详解
编程
百度 Unlimited OCR 深度技术解析:端到端多模态OCR模型架构与R-SWA注意力机制详解
2026-07-05 02:43:03 +0800 CST
view 83
深入解析百度Unlimited OCR的核心技术:R-SWA注意力机制如何将KV Cache压成常数,DeepEncoder+MoE解码器架构,以及长文档OCR的完整解决方案。
OCR
百度
深度学习
Transformer
KV Cache
端到端
多模态
文档解析
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
编程
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
2026-06-29 15:13:32 +0800 CST
view 137
百度 Unlimited OCR 用 R-SWA 机制把 KV Cache 压成常数,首次实现 40+ 页文档单次前向解析。深度解析 R-SWA 原理、模型架构、性能基准与实战部署。
百度
Unlimited OCR
OCR
R-SWA
KV Cache
长文档
端到端OCR
DeepEncoder
MoE
参考滑动窗口注意力
Feynman 科研代理:让 AI 自动完成文献综述与论文审计
案例
Feynman 科研代理:让 AI 自动完成文献综述与论文审计
2026-05-04 22:56:35 +0800 CST
view 565
Feynman是Hermes生态中的科研代理框架,由研究员、评审员、撰写员、核实员四个智能体组成,能自动完成文献综述、论文审计、实验复现等复杂科研任务
AI科研
多智能体
自动化
文献综述
论文审计
Hermes
AI驱动的智能客服呼叫中心系统SmartCall,让每一通电话都被智慧对待
代码
AI驱动的智能客服呼叫中心系统SmartCall,让每一通电话都被智慧对待
2026-07-02 13:27:29 +0800 CST
view 100
SmartCall是一套基于AI大模型+Asterisk的智能客服呼叫中心系统,支持AI智能应答、IVR流程编排、批量外呼、坐席管理,采用Apache-2.0开源协议。
AI
开源
智能客服
呼叫中心
Asterisk
IVR
ASR
TTS
外呼
Apache
Hertz 深度实战:字节跳动开源的高性能 Go HTTP 框架——从架构原理到生产级 RESTful API 完全指南(2026)
编程
Hertz 深度实战:字节跳动开源的高性能 Go HTTP 框架——从架构原理到生产级 RESTful API 完全指南(2026)
2026-06-05 12:38:37 +0800 CST
view 256
Hertz是字节跳动开源的高性能Go HTTP框架,基于自研Netpoll网络库,性能显著优于Gin。本文从架构原理到生产级实战,完整讲解Hertz的核心设计与工程化落地。
Go,Hertz,高性能,微服务,HTTP框架
百度 Unlimited OCR 深度解读:R-SWA 如何将 KV Cache 压成常数,5天 GitHub Star 破万的端到端 OCR 新范式
编程
百度 Unlimited OCR 深度解读:R-SWA 如何将 KV Cache 压成常数,5天 GitHub Star 破万的端到端 OCR 新范式
2026-06-27 09:15:20 +0800 CST
view 116
百度开源 Unlimited OCR,5天 GitHub Star 破万。本文深度解析其核心创新 R-SWA(Reference Sliding Window Attention),如何将解码器 KV Cache 从线性增长压成常数,OmniDocBench v1.6 刷榜 SOTA(93.92%),30B 总参/5B 激活,32K 超长上下文,一次前向全稿转录,附完整代码实战。
Unlimited OCR
R-SWA
KV Cache
MoE
端到端 OCR
百度
深度学习
Transformer
文档识别
OCR
Apache Pulsar 深度实战:当消息系统把存储与计算彻底拆开——从分层分片架构、BookKeeper 低延迟存储引擎到 Pulsar Functions 与分级存储的完整工程指南(2026)
编程
Apache Pulsar 深度实战:当消息系统把存储与计算彻底拆开——从分层分片架构、BookKeeper 低延迟存储引擎到 Pulsar Functions 与分级存储的完整工程指南(2026)
2026-07-09 08:16:40 +0800 CST
view 16
从架构原理到生产实战,深度拆解 Apache Pulsar 的分层分片架构、BookKeeper 低延迟存储引擎、Pulsar Functions 与分级存储。
Apache Pulsar
消息队列
BookKeeper
云原生
流处理
消息中间件
yas,一个开源的C++库:比Protobuf快10倍的序列化方案
代码
yas,一个开源的C++库:比Protobuf快10倍的序列化方案
2026-06-28 07:14:32 +0800 CST
view 143
YAS是C++ header-only序列化库,纯头文件零依赖,性能比Protobuf快10倍,支持二进制/文本/JSON三种格式,适合游戏存档和网络协议等高性能场景。
C++
序列化
性能优化
开源
header-only
二进制
百度 Unlimited OCR 深度解析:R-SWA 如何让长文档 OCR 从"逐页煎熬"走向"一次搞定"
编程
百度 Unlimited OCR 深度解析:R-SWA 如何让长文档 OCR 从"逐页煎熬"走向"一次搞定"
2026-06-28 14:13:06 +0800 CST
view 196
深度解析百度 Unlimited OCR 的 R-SWA 参考滑动窗口注意力机制,如何将 KV Cache 从线性增长压到常数,使长文档 OCR 性能恒定不衰减。含完整架构分析、训练配方、性能基准和实战代码。
Unlimited OCR
R-SWA
OCR
端到端
百度
文档识别
KV Cache
MoE
DeepEncoder
长文档处理
百度 Unlimited OCR 深度解析:端到端架构、R-SWA 常数量化 KV Cache,以及让 AI 像人一样抄书的工程革命
编程
百度 Unlimited OCR 深度解析:端到端架构、R-SWA 常数量化 KV Cache,以及让 AI 像人一样抄书的工程革命
2026-07-05 05:41:29 +0800 CST
view 92
深度解析百度2026年开源的Unlimited OCR模型:端到端架构、R-SWA常数量化KV Cache机制、MoE解码器设计,以及让AI像人一样连续解析长文档的工程革命。含完整代码实战。
OCR
百度
端到端OCR
R-SWA
KV Cache
文档识别
多模态
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
8
9
10
11
12
...
80
下一页