程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 358
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 586
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 119
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 946
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
编程
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
2026-05-18 08:22:35 +0800 CST
view 882
全面解析 vLLM 推理引擎的核心架构,从 PagedAttention 原理到生产级部署实战,涵盖量化推理、多GPU并行、性能调优等完整技术栈
vLLM
LLM推理
PagedAttention
GPU优化
量化推理
深度解析
2026大模型推理框架年度横评:vLLM/TGI/TensorRT-LLM/DeepSpeed-MII 架构深度解析与生产级选型指南
编程
2026大模型推理框架年度横评:vLLM/TGI/TensorRT-LLM/DeepSpeed-MII 架构深度解析与生产级选型指南
2026-06-18 17:54:54 +0800 CST
view 834
深度横评2026年四大主流大模型推理框架,涵盖PagedAttention架构、ContinuousBatching、算子融合、FP8量化、NVMe卸载等核心技术,配实测数据与生产级选型指南
大模型
LLM
推理框架
vLLM
TensorRT-LLM
TGI
DeepSpeed
GPU推理
AI部署
NVIDIA
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 149
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
sched_ext 源码级深度拆解:把 Linux 调度器变成可热插拔的 BPF 程序——从 DSQ 状态机到手写一个大小核感知调度器(附完整 C 实现)
编程
sched_ext 源码级深度拆解:把 Linux 调度器变成可热插拔的 BPF 程序——从 DSQ 状态机到手写一个大小核感知调度器(附完整 C 实现)
2026-08-02 02:19:25 +0800 CST
view 112
深度拆解 Linux 6.12 主线 sched_ext 可扩展调度器类:为什么 CFS/EEVDF 在异构硬件下失灵、sched_class 层级与 struct_ops 加载机制、DSQ 三件套与回调时序状态机,手写 v1~v4 四个逐步进化的 BPF 调度器(含完整可编译 C 代码与大小核感知实现),附 verifier 十条纪律、scx_lavd/scx_layered/scx_rusty 选型决策树、可观测调试与十条生产踩坑清单。
sched_ext
Linux内核
BPF
CPU调度器
eBPF
EEVDF
scx
性能优化
异构计算
云原生
LLM 推理框架选型实战:vLLM、TensorRT-LLM、TGI、DeepSpeed-MII 深度对比与生产部署指南
编程
LLM 推理框架选型实战:vLLM、TensorRT-LLM、TGI、DeepSpeed-MII 深度对比与生产部署指南
2026-07-03 13:49:04 +0800 CST
view 435
深度对比 vLLM 0.5、TensorRT-LLM 1.8、TGI 2.0、DeepSpeed-MII 0.9 四大推理框架,从核心技术原理、性能数据、成本账本到生产部署实战,帮你做出正确的框架选型决策。
LLM
vLLM
TensorRT-LLM
TGI
DeepSpeed
推理优化
大模型部署
GPU优化
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 486
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
vLLM 深度拆解:当大模型推理学会「分页注意力」——PagedAttention、连续批处理与 V1 引擎如何重写 GPU 推理服务的心智模型
编程
vLLM 深度拆解:当大模型推理学会「分页注意力」——PagedAttention、连续批处理与 V1 引擎如何重写 GPU 推理服务的心智模型
2026-07-16 04:19:16 +0800 CST
view 242
从工程师视角深度拆解 vLLM:PagedAttention 分页注意力、连续批处理、V1 引擎架构、KV Cache 管理、量化与投机解码,配 OpenAI 兼容服务、引导解码与生产调优实战。
vLLM
PagedAttention
连续批处理
大模型推理
GPU推理服务
KV缓存
V1引擎
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 154
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
Newton 深度拆解:当 NVIDIA 联合迪士尼与 DeepMind 决定「干掉 CPU 物理仿真」——基于 Warp 的 GPU 加速引擎如何用可微分物理重新定义机器人学习的未来
编程
Newton 深度拆解:当 NVIDIA 联合迪士尼与 DeepMind 决定「干掉 CPU 物理仿真」——基于 Warp 的 GPU 加速引擎如何用可微分物理重新定义机器人学习的未来
2026-08-04 11:16:41 +0800 CST
view 168
深度拆解NVIDIA联合迪士尼研究院和Google DeepMind开源的Newton GPU加速物理仿真引擎:基于Warp的GPU原生架构、可微分物理、Hydroelastic接触模型、OpenUSD集成、4096环境并行训练,附完整代码示例与性能基准对比
Newton
NVIDIA
Warp
物理仿真
GPU加速
机器人
Disney Research
DeepMind
可微分物理
OpenUSD
MuJoCo
Linux Foundation
深度拆解Supabase 107K Star开源Postgres开发平台:从Firebase替代到AI Agent原生基础设施的全栈架构演进
编程
深度拆解Supabase 107K Star开源Postgres开发平台:从Firebase替代到AI Agent原生基础设施的全栈架构演进
2026-08-04 13:44:56 +0800 CST
view 191
深度拆解107K Star开源Postgres开发平台Supabase:从架构设计到代码实战,涵盖PostgREST自动API、@supabase/server跨运行时认证、WAL实时同步、pgvector向量搜索、RLS行级安全策略、Edge Functions边缘计算,以及AI Agent原生基础设施的完整架构分析
Supabase
PostgreSQL
Firebase
AI Agent
向量搜索
Edge Functions
Realtime
开源
后端开发
Docker 27「Orion」深度解析:原生 AI 调度时代来临——GPU 拓扑感知、NUMA 绑定与容器化大模型部署新范式
编程
Docker 27「Orion」深度解析:原生 AI 调度时代来临——GPU 拓扑感知、NUMA 绑定与容器化大模型部署新范式
2026-05-10 00:41:20 +0800 CST
view 550
Docker 27 Orion深度解析:GPU拓扑感知调度与PCIe/NVLink自动绑定、NUMA内存带宽限制、dockerd-scheduler AI调度代理、docker ai run零配置LLM部署、Dockerfile.ai模型封装语法、OOM Killer五步防御、cgroups v2集成与生产环境避坑指南
Docker
容器化
GPU调度
NUMA
AI推理
LLM
docker-compose
cgroups
Dockerfile
NVIDIA
Kubernetes 1.36 深度解析:AI时代的容器编排新纪元——从DRA设备分区到ServiceAccount外部签名的技术革命
编程
Kubernetes 1.36 深度解析:AI时代的容器编排新纪元——从DRA设备分区到ServiceAccount外部签名的技术革命
2026-04-21 03:16:19 +0800 CST
view 888
深入解析Kubernetes 1.36核心特性:DRA可分区设备实现GPU细粒度共享、ServiceAccount Token外部签名支持企业级身份体系、SELinux卷标加速提升Pod启动性能。附完整代码示例与生产环境升级指南。
Kubernetes
云原生
AI基础设施
DRA
容器编排
GPU分区
ServiceAccount
SELinux
template-vue3-gin-fullstack:Vue3+Go Gin前后端分离全栈项目模板,开箱即用
案例
template-vue3-gin-fullstack:Vue3+Go Gin前后端分离全栈项目模板,开箱即用
2026-05-09 10:27:01 +0800 CST
view 624
template-vue3-gin-fullstack:一款基于Vue3+Go Gin的前后端分离全栈项目模板。技术栈涵盖Vue3.4+TypeScript5+Vite5+Pinia+TailwindCSS前端,以及Go1.22+Gin1.9+GORM+PostgreSQL+Redis+JWT+Zap后端。目录分层清晰(Handler/Service/Repository),JWT认证、Swagger文档、GitHub Actions CI/CD全部配好,clone即可开写业务代码。
全栈模板
Vue3
Go Gin
前后端分离
TypeScript
项目架构
CI/CD
GitHub Actions
PostgreSQL
Redis
JWT
Redis 8.8 深度实战:当原生 Array 数据结构遇见生产级缓存革命——从 INCREX 原子限流到子键通知的完全指南(2026)
编程
Redis 8.8 深度实战:当原生 Array 数据结构遇见生产级缓存革命——从 INCREX 原子限流到子键通知的完全指南(2026)
2026-06-16 17:23:59 +0800 CST
view 417
Redis 8.8 深度解读:原生 Array 数据结构填补十五年空白,INCREX 原子限流、XNACK 主动失败标记、子键通知等新特性从架构原理到生产级实战的完全指南
Redis
Redis 8.8
缓存
数据结构
性能优化
Redis 8 深度实战:把缓存变成生产级向量数据库——HNSW 索引、RediSearch 内核与 Spring AI RAG 全链路完全指南
编程
Redis 8 深度实战:把缓存变成生产级向量数据库——HNSW 索引、RediSearch 内核与 Spring AI RAG 全链路完全指南
2026-07-12 05:41:10 +0800 CST
view 226
Redis 8 收编 RediSearch,原生支持 HNSW 向量索引。详解向量检索原理、HNSW 调参、FT.CREATE 实战,并接 Spring AI 2.0 搭生产级 RAG 后端。
Redis 8
RediSearch
向量数据库
HNSW
RAG
Spring AI
近似最近邻
语义检索
Redis 8 深度解析:开源缓存的「性能狂飙」与「One Redis」革命
编程
Redis 8 深度解析:开源缓存的「性能狂飙」与「One Redis」革命
2026-05-12 02:25:32 +0800 CST
view 727
深度解析Redis 8的核心突破:One Redis理念将所有模块内置告别碎片化、I/O线程机制重写让吞吐量提升112%(8线程)、30项性能优化让命令延迟最高降低87%、内存优化让Hash表占用-16.7%有序集合-30.5%、新增8种数据结构(Vector Set/JSON/Time Series/概率结构)、Redis Query Engine查询处理能力16倍提升、Redis 8.6新增热键检测HOTKEYS与LRM逐出策略
Redis8,缓存,性能优化,OneRedis,数据结构,内存优化,I/O线程,全文搜索,向量搜索,热键检测
DragonflyDB 深度解析:用现代 C++ 和 Shared-Nothing 架构把 Redis 性能打到 25 倍——从 Dash 哈希表到 VLL 无锁事务的内存数据库革命
编程
DragonflyDB 深度解析:用现代 C++ 和 Shared-Nothing 架构把 Redis 性能打到 25 倍——从 Dash 哈希表到 VLL 无锁事务的内存数据库革命
2026-07-07 06:43:46 +0800 CST
view 291
深度解析GitHub 25K+ Stars的DragonflyDB内存数据库:基于Shared-Nothing多线程架构,性能达Redis 25倍。涵盖Dash哈希表、VLL无锁事务管理器、Boost.Fiber协程、SO_REUSEPORT内核负载均衡、增量快照零内存膨胀。从架构原理到生产级实战,含完整基准测试与Redis/Valkey全面对比。
DragonflyDB
Redis
内存数据库
Shared-Nothing
Dash哈希表
VLL
多线程
性能优化
开源
Redis 8.0 深度解析:30项性能飞跃、8种新数据结构与重回开源的破局之路
编程
Redis 8.0 深度解析:30项性能飞跃、8种新数据结构与重回开源的破局之路
2026-05-12 18:40:32 +0800 CST
view 482
深度解析Redis 8.0最新版本核心变化:命令延迟降低87%、吞吐量提升112%、新增8种数据结构(向量集/JSON/时序/概率结构)、重回BSD开源、I/O线程重构、Query Engine提升16倍。含架构解析与代码实战。
Redis8,Redis新版本,向量数据库,JSON数据结构,内存数据库,性能优化,开源
Redis 8.0 重磅解析:重返开源、9种新数据结构、性能飙升36%——AI时代的内存数据库完全指南
编程
Redis 8.0 重磅解析:重返开源、9种新数据结构、性能飙升36%——AI时代的内存数据库完全指南
2026-06-27 04:12:31 +0800 CST
view 327
Redis 8.0 GA正式发布,详解许可证变更(AGPLv3)、9种新数据结构(Vector Set/JSON/Time Series/概率结构)、性能优化(延迟降低36%)、查询引擎升级、实战代码与迁移指南。
Redis
Redis 8.0
内存数据库
AI
向量搜索
JSON
时间序列
概率数据结构
性能优化
万字深度解析 React Server Components:当同构渲染遇见「边界艺术」——从渲染模型到生产级性能优化的完整技术指南(2026)
编程
万字深度解析 React Server Components:当同构渲染遇见「边界艺术」——从渲染模型到生产级性能优化的完整技术指南(2026)
2026-07-02 15:44:03 +0800 CST
view 243
深度解析 React Server Components 的性能调优策略,涵盖边界划分艺术、流式渲染进阶、多级缓存体系构建,以及 Next.js App Router 实战优化,含 20+ 可运行代码示例
React Server Components
RSC
性能优化
Next.js
App Router
前端优化
流式渲染
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
17
18
19
20
21
...
112
下一页