编程从PagedAttention到Prefix Caching：2026年LLM推理KV Cache优化工程实践

2026-07-07 16:15:25

$(cat /tmp/kvcache_article.md | python3 -c 'import sys,json; print(json.dumps(sys.stdin.read()))')

复制全文生成海报 LLM KV Cache PagedAttention Prefix Caching vLLM 推理优化 Speculative Decoding

推荐文章

systemd timer 替代 crontab：从 crontab 被静默清空说起，五个坑与一条不触发的排查路径

2026-09-28 20:03:18

别只盯着「删掉那把锁」：PEP 703 改了 PyObject 的哪些字段，PEP 779 用什么硬指标判定转正

2026-10-05 00:03:48

reli-prof：不装扩展、不改目标代码，从进程外采样 PHP 调用栈与内存图

2026-10-06 21:32:20

用 Caddy 取代 Nginx 做反向代理：三行 Caddyfile 自动 HTTPS 与续期，附 Compose 写法

2026-09-28 20:02:18

GORM v1.30 的 gorm.G[T]：泛型 API 与链式 API 并存，复用实例不再污染 SQL

2026-10-05 00:04:54

Traefik Proxy v3.7 发布：Ingress NGINX Provider 转正，85+ annotation 原样可用

2026-10-05 21:02:54

.NET 10 LTS：JIT 换成图级循环识别，类库补齐 ML-KEM/ML-DSA/SLH-DSA

2026-10-05 21:03:19

PHP 8.6 新增 Time\Duration 与 clamp()：纳秒时长运算和边界收敛

2026-10-06 21:01:53

Kafka 4.1.0 升级笔记：controller quorum 改成动态配置要走哪几步

2026-10-05 21:02:54

Docker 里把 Redis 6.2 升到 8.8：dbsize 变 0、数据像丢了、启动直接 FATAL

2026-09-29 21:03:00

Databasus：PostgreSQL 备份工具，用容器真跑一遍 restore 做还原验证

2026-09-27 21:31:10

Readable.toWeb() 会暂停原流、还会双缓冲：Node 两套流互转的坑

2026-10-01 00:04:22

Fiber v3.5.0 的 proxy 中间件默认拒绝内网上游，内网部署需显式放行

2026-10-03 21:03:13

Go 1.26 发布：new(expr)、泛型自引用落地，Green Tea GC 默认开启

2026-10-02 21:03:49

Go 1.27 工具链：go fix 多了四个 modernizer，小对象分配最快省 30% 但二进制胖 60KB

2026-09-29 21:05:24

AgentHub：5 个 AI Agent 并行改同一仓库，消息路由、文件锁与崩溃恢复怎么落地

2026-10-04 00:03:55

Octop：单进程跑完 Web、IM 与 cron 的多用户 Agent 运行时

2026-10-04 21:31:25

PayPal Webhook 验签：手工拼 CRC32 签名串的两个坑，和 PHP 为什么只能调官方接口

2026-10-07 09:01:24

开放接口签名与防重放：appId、nonce、HMAC/RSA 和验签顺序

2026-10-03 21:31:38

MicroPython esp32 模块笔记：PCNT 4X 正交解码、OTA 回滚与 deep sleep 唤醒

2026-10-05 00:05:14