程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 208
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
TypeScript 7.0 深度拆解:当微软用 Go 语言重写 14 年老编译器,一次编译提速 10 倍背后的工程方法论
编程
TypeScript 7.0 深度拆解:当微软用 Go 语言重写 14 年老编译器,一次编译提速 10 倍背后的工程方法论
2026-07-15 07:43:20 +0800 CST
view 221
深度解析 TypeScript 7.0 用 Go 重写编译器的技术原理:并行类型检查、worker pool 架构、破坏性变更、升级路径与工程意义,附完整代码示例与性能调优实战
TypeScript 7.0
TypeScript Go重写
Go编译器
TypeScript性能优化
前端工具链
monorepo
typecheck
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 381
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
sched_ext 源码级深度拆解:把 Linux 调度器变成可热插拔的 BPF 程序——从 DSQ 状态机到手写一个大小核感知调度器(附完整 C 实现)
编程
sched_ext 源码级深度拆解:把 Linux 调度器变成可热插拔的 BPF 程序——从 DSQ 状态机到手写一个大小核感知调度器(附完整 C 实现)
2026-08-02 02:19:25 +0800 CST
view 156
深度拆解 Linux 6.12 主线 sched_ext 可扩展调度器类:为什么 CFS/EEVDF 在异构硬件下失灵、sched_class 层级与 struct_ops 加载机制、DSQ 三件套与回调时序状态机,手写 v1~v4 四个逐步进化的 BPF 调度器(含完整可编译 C 代码与大小核感知实现),附 verifier 十条纪律、scx_lavd/scx_layered/scx_rusty 选型决策树、可观测调试与十条生产踩坑清单。
sched_ext
Linux内核
BPF
CPU调度器
eBPF
EEVDF
scx
性能优化
异构计算
云原生
XTDB 深度实战:当数据库学会了时间旅行——从双时态模型到 LSM-Tree 存储引擎、从 SQL:2011 到 PostgreSQL 兼容的生产级完全指南(2026)
编程
XTDB 深度实战:当数据库学会了时间旅行——从双时态模型到 LSM-Tree 存储引擎、从 SQL:2011 到 PostgreSQL 兼容的生产级完全指南(2026)
2026-06-20 08:09:09 +0800 CST
view 445
深入解析 XTDB 双时态数据库:从 SQL:2011 双时态模型到 LSM-Tree + Apache Arrow 存储引擎,从 System Time/Valid Time 到时间旅行查询,包含金融审计、保险理赔、AI Agent 可观测性等完整实战案例
XTDB
bitemporal
SQL:2011
时间旅行
PostgreSQL
LSM-Tree
Apache Arrow
数据库
审计合规
Effect-TS 深度拆解:TypeScript 代数效应系统的工程哲学——从函数式编程到生产级架构的范式跃迁
编程
Effect-TS 深度拆解:TypeScript 代数效应系统的工程哲学——从函数式编程到生产级架构的范式跃迁
2026-08-02 22:45:12 +0800 CST
view 228
深度拆解Effect-TS代数效应框架:从三参数Effect类型、Generator驱动的do-notation、Layer依赖注入到结构化并发,附完整微服务实战代码与性能对比分析
Effect-TS
TypeScript
函数式编程
代数效应
类型系统
依赖注入
结构化并发
Layer
Effect.gen
Schema
DeepSeek V4 架构全拆解:MLA 压缩、MoE 动态路由与 1.6T 参数的工程哲学——从训练到推理的全栈重构
编程
DeepSeek V4 架构全拆解:MLA 压缩、MoE 动态路由与 1.6T 参数的工程哲学——从训练到推理的全栈重构
2026-08-03 00:13:26 +0800 CST
view 239
深度拆解 DeepSeek V4 四大核心架构创新:MLA 16x KV Cache 压缩、MoE-Routing v2 Token级动态路由、HAAA混合注意力、antirez ds4.c推理引擎,附完整代码示例与生产部署指南
DeepSeek
MoE
MLA
KV Cache
大模型
AI推理
开源
性能优化
混合注意力
量化
PHP RFC6455 WebSocket纯协议实现:Ratchet + Workerman优雅解耦方案
编程
PHP RFC6455 WebSocket纯协议实现:Ratchet + Workerman优雅解耦方案
2026-06-20 12:28:56 +0800 CST
view 494
PHP WebSocket纯协议实现方案,基于Ratchet RFC6455 + Workerman。协议层与传输层完全解耦,自动处理握手/分帧/掩码/分片/Ping-Pong。适合需要深度定制WebSocket协议的场景。
PHP
WebSocket
RFC6455
Workerman
Ratchet
实时通信
开源
PSR-7
网络协议
Gai:AI 原生的 Go Web 全栈框架
编程
Gai:AI 原生的 Go Web 全栈框架
2026-05-21 16:19:43 +0800 CST
view 642
Gai是AI原生的Go Web全栈框架,融合Go简洁高效与Laravel优雅设计,Schema驱动开发,内置全平台AI Agent Rules,支持MySQL/PostgreSQL/SQLite。
开源项目
Go
Web框架
AI原生
ORM
Schema驱动
Apache Pulsar 深度实战:当消息系统把存储与计算彻底拆开——从分层分片架构、BookKeeper 低延迟存储引擎到 Pulsar Functions 与分级存储的完整工程指南(2026)
编程
Apache Pulsar 深度实战:当消息系统把存储与计算彻底拆开——从分层分片架构、BookKeeper 低延迟存储引擎到 Pulsar Functions 与分级存储的完整工程指南(2026)
2026-07-09 08:16:40 +0800 CST
view 251
从架构原理到生产实战,深度拆解 Apache Pulsar 的分层分片架构、BookKeeper 低延迟存储引擎、Pulsar Functions 与分级存储。
Apache Pulsar
消息队列
BookKeeper
云原生
流处理
消息中间件
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 541
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
百度 Unlimited OCR 深度解析:端到端长文档 OCR 的新范式——从 R-SWA 机制到 3B 参数模型、从 KV Cache 压缩到生产级部署的完整技术指南(2026)
编程
百度 Unlimited OCR 深度解析:端到端长文档 OCR 的新范式——从 R-SWA 机制到 3B 参数模型、从 KV Cache 压缩到生产级部署的完整技术指南(2026)
2026-07-04 03:13:57 +0800 CST
view 476
2026年6月百度开源Unlimited OCR,5天GitHub Star破1万。深度解析R-SWA机制、3B参数模型架构、KV Cache压缩原理,含完整部署代码与生产级应用案例。
百度
Unlimited OCR
OCR
R-SWA
KV Cache
长文档识别
端到端OCR
多模态模型
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
编程
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
2026-07-27 03:44:38 +0800 CST
view 213
从显存字节到 CUDA kernel 源码级拆解 vLLM:PagedAttention 分页显存管理、Continuous Batching 连续批处理调度、Prefix Caching 前缀缓存与量化/投机解码实战,附完整代码与生产调参踩坑清单。
vLLM
PagedAttention
大模型推理
KV Cache
显存优化
连续批处理
量化
LLM Serving
Headroom 深度解析:AI Agent 上下文压缩引擎——从 Token 暴降 95% 的原理到生产级部署的完整技术指南(2026)
编程
Headroom 深度解析:AI Agent 上下文压缩引擎——从 Token 暴降 95% 的原理到生产级部署的完整技术指南(2026)
2026-07-04 04:42:34 +0800 CST
view 408
Headroom 深度解析:AI Agent 上下文压缩引擎,节省 60-95% Token 消耗,零侵入透明压缩层,含四种接入模式详解、压缩算法剖析、性能基准测试与生产级部署指南。
Headroom
AI Agent
上下文压缩
Token优化
成本优化
LangChain
Claude Code
Proxy模式
ML路由
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 587
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
Helidon 4.4:当 Java 微服务框架开始"长脑子",AI 编排不再是 Python 专利
编程
Helidon 4.4:当 Java 微服务框架开始"长脑子",AI 编排不再是 Python 专利
2026-04-08 15:04:17 +0800 CST
view 867
Oracle Helidon 4.4.0 引入 AI Agent 编排能力,Java 微服务框架进入 AI 原生时代。深度解析 Workflows、Dynamic Agents 两种执行模式,完整代码实战。
Helidon
Java
AI Agent
LangChain4j
微服务
Effect 深度拆解:一个「类型驱动」的 TypeScript 运行时如何终结 try-catch 地狱——从 ZIO 灵感到 AI 时代生产级框架的全栈架构哲学
编程
Effect 深度拆解:一个「类型驱动」的 TypeScript 运行时如何终结 try-catch 地狱——从 ZIO 灵感到 AI 时代生产级框架的全栈架构哲学
2026-08-03 12:41:55 +0800 CST
view 144
深度拆解Effect-TS四大核心架构:类型驱动的错误追踪、Service Layer依赖注入、Fiber结构化并发、Schedule可组合重试策略,附完整生产级代码示例与迁移指南
Effect
TypeScript
函数式编程
依赖注入
错误处理
并发模型
Service Layer
Fiber
AI编程
ZIO
Schema
Structured Concurrency
类型安全
开源
Apache Kafka KRaft 深度实战:从 ZooKeeper 到自管理集群,Raft 共识、Controller Quorum 与生产迁移全指南
编程
Apache Kafka KRaft 深度实战:从 ZooKeeper 到自管理集群,Raft 共识、Controller Quorum 与生产迁移全指南
2026-07-27 13:44:19 +0800 CST
view 174
深度拆解Apache Kafka KRaft模式:从Raft共识算法原理、Controller Quorum架构设计到Docker/Go代码实战,附ZooKeeper到KRaft完整迁移指南与生产调优清单
Apache Kafka
KRaft
Raft
ZooKeeper
消息队列
分布式系统
Go
Kafka调优
流处理
百度 Unlimited OCR 深度解析:R-SWA 如何让长文档 OCR 从"逐页煎熬"走向"一次搞定"
编程
百度 Unlimited OCR 深度解析:R-SWA 如何让长文档 OCR 从"逐页煎熬"走向"一次搞定"
2026-06-28 14:13:06 +0800 CST
view 503
深度解析百度 Unlimited OCR 的 R-SWA 参考滑动窗口注意力机制,如何将 KV Cache 从线性增长压到常数,使长文档 OCR 性能恒定不衰减。含完整架构分析、训练配方、性能基准和实战代码。
Unlimited OCR
R-SWA
OCR
端到端
百度
文档识别
KV Cache
MoE
DeepEncoder
长文档处理
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
编程
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46 +0800 CST
view 481
深度解析 vLLM 0.5 的 PagedAttention 架构原理,涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术,并通过代码实战和性能对比,帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM
PagedAttention
LLM推理
CUDA
KV Cache
深度学习
AI基础设施
Python
生产部署
性能优化
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
编程
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
2026-08-12 11:14:56 +0800 CST
view 171
深度拆解 2026 年四大主流推理框架 vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 的核心技术、性能对比与选型指南,涵盖 PagedAttention、Continuous Batching、量化优化、分布式推理与生产踩坑清单。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
KV Cache
PagedAttention
推理优化
量化
分布式推理
Google Gemma 4 深度解析:当开源AI进入「逐层嵌入平行化」时代
编程
Google Gemma 4 深度解析:当开源AI进入「逐层嵌入平行化」时代
2026-04-09 04:54:56 +0800 CST
view 1101
Google于2026年4月发布Gemma 4开源模型系列,首次全面切换Apache 2.0许可证,搭载Per-Layer Embedding架构创新,26B MoE以3.8B激活参数击败Qwen3-235B。本文深度解析PLE架构、稀疏激活机制与全规格产品矩阵。
Gemma 4
Google
开源模型
Apache 2.0
MoE
Per-Layer Embedding
SGLang 深度拆解:当 RadixAttention 把 KV Cache 变成一棵可复用的「记忆树」——从前缀缓存、零开销调度到生产级推理服务的全链路实战
编程
SGLang 深度拆解:当 RadixAttention 把 KV Cache 变成一棵可复用的「记忆树」——从前缀缓存、零开销调度到生产级推理服务的全链路实战
2026-08-18 21:45:21 +0800 CST
view 76
深度拆解 SGLang 推理引擎:从 RadixAttention 前缀缓存、零开销 CPU 调度、约束解码到 PD 分离与量化,配可运行代码与生产调优清单。
SGLang
RadixAttention
KV Cache
LLM推理
前缀缓存
结构化生成
Rolldown 与 VoidZero:当 Rust 重构整个 JavaScript 工具链,前端基建的终局之战
编程
Rolldown 与 VoidZero:当 Rust 重构整个 JavaScript 工具链,前端基建的终局之战
2026-06-29 11:43:40 +0800 CST
view 288
深度解析 Rolldown 与 VoidZero 的 Rust 全栈工具链蓝图,从源码架构到 Cloudflare 收购的战略意义,附完整实战迁移指南与性能基准测试。
Rolldown
VoidZero
Vite
Rust
前端工程化
构建工具
JavaScript工具链
Cloudflare
Oxc
尤雨溪
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
10
11
12
13
14
...
83
下一页