程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 335
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 76
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
sqlite-vec 深度实战:当 SQLite 遇见向量搜索,AI 应用的轻量级记忆系统从此有了标准答案(2026)
编程
sqlite-vec 深度实战:当 SQLite 遇见向量搜索,AI 应用的轻量级记忆系统从此有了标准答案(2026)
2026-07-22 01:16:13 +0800 CST
view 154
深度解析 sqlite-vec:一个纯C实现的SQLite向量搜索扩展,让SQLite直接支持语义搜索。涵盖核心架构、HNSW索引原理、SQL API完全指南、Python实战案例(知识库检索系统、AI Agent长期记忆、RAG系统)、性能优化、常见问题解决方案以及LangChain/LlamaIndex生态集成。
sqlite-vec
SQLite
向量搜索
AI应用
语义检索
RAG
Embedding
HNSW
AI Agent
OmniRoute 深度实战:28K Stars 的开源 AI 网关,如何用一个端口统一调度 250+ 大模型?
编程
OmniRoute 深度实战:28K Stars 的开源 AI 网关,如何用一个端口统一调度 250+ 大模型?
2026-07-27 06:46:10 +0800 CST
view 152
深度拆解GitHub 28.8K Stars开源项目OmniRoute:AI网关架构、RTK+Caveman Token压缩、18种路由策略、MCP/A2A协议,附完整部署实战与成本优化指南。
OmniRoute
AI Gateway
大模型路由
Token压缩
开源
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 473
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
WWDC 2026深度解析:苹果AI战略全面重构,Siri从语音助手进化为智能体 —— 从系统架构到开发者机遇的完全指南
编程
WWDC 2026深度解析:苹果AI战略全面重构,Siri从语音助手进化为智能体 —— 从系统架构到开发者机遇的完全指南
2026-06-09 18:15:56 +0800 CST
view 529
WWDC 2026正式发布全新Siri AI,从技术架构到开发者生态全面解析苹果AI战略反击战
WWDC
Apple
Siri
AI
iOS
macOS
App Intents
Apple Intelligence
SQLite-Vec 深度实战:当嵌入式数据库学会了向量搜索——从本地 RAG 到端侧 AI 应用的生产级完全指南(2026)
编程
SQLite-Vec 深度实战:当嵌入式数据库学会了向量搜索——从本地 RAG 到端侧 AI 应用的生产级完全指南(2026)
2026-06-21 10:26:56 +0800 CST
view 442
SQLite-Vec 完全指南:让嵌入式数据库拥有向量搜索能力。从架构原理到代码实战,详解本地 RAG 系统、向量索引优化、端侧部署方案,附带完整可运行代码。
SQLite
向量数据库
RAG
AI
嵌入式数据库
sqlite-vec
本地AI
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 479
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
2026年大模型推理框架横评:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9
编程
2026年大模型推理框架横评:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9
2026-07-10 17:44:16 +0800 CST
view 340
深度对比2026年四大主流LLM推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9,涵盖PagedAttention、FP8量化、ZeRO-3、连续批处理等核心技术原理,配生产级代码示例与实测性能数据。
LLM
vLLM
TensorRT-LLM
TGI
DeepSpeed
推理优化
量化
AI部署
Temporal 深度实战:当分布式工作流从「工程噩梦」变成「写代码一样简单」
编程
Temporal 深度实战:当分布式工作流从「工程噩梦」变成「写代码一样简单」
2026-06-16 08:51:07 +0800 CST
view 393
深入解析 Temporal 分布式工作流引擎:从原理、架构到 Go/TS 生产级实战,涵盖 Workflow 确定性、Activity 设计、Signal/Query、补偿事务、性能优化等核心内容
Temporal
分布式
工作流
Go
微服务
架构设计
eBPF 深度实战:把 Linux 内核变成可编程数据平面——从 bpf() 系统调用、Verifier 到 Cilium / Tetragon 生产落地
编程
eBPF 深度实战:把 Linux 内核变成可编程数据平面——从 bpf() 系统调用、Verifier 到 Cilium / Tetragon 生产落地
2026-07-11 01:43:47 +0800 CST
view 235
从 bpf() 生命周期、Verifier、Maps、CO-RE 拆到 Cilium/Tetragon 生产架构,配 bpftrace、BCC、Go 三套可运行代码,讲透 eBPF 如何把 Linux 内核变成可编程数据平面。
eBPF
Cilium
云原生
Linux内核
可观测性
eBPF实战
Tetragon
Temporal Replay 2026深度实战:当Durable Execution遇上AI Agent——从持久执行范式到生产级多智能体编排的完全指南
编程
Temporal Replay 2026深度实战:当Durable Execution遇上AI Agent——从持久执行范式到生产级多智能体编排的完全指南
2026-06-10 15:21:36 +0800 CST
view 722
2026年6月9日,Temporal 在 Replay 2026 大会上发布 Serverless Workers、Standalone Activities、Workflow Streams 等重磅更新。本文深入解析 Durable Execution 核心原理,对比 AI Agent 四大失败模式,并提供生产级 Deep Research Agent 完整代码实战。
Temporal,Durable Execution,AI Agent,工作流引擎,多智能体
Context-Mode 深度实战:当 AI 编程成本暴涨到让人肉疼——MCP 插件用沙盒隔离将 Token 消耗砍掉 98%
编程
Context-Mode 深度实战:当 AI 编程成本暴涨到让人肉疼——MCP 插件用沙盒隔离将 Token 消耗砍掉 98%
2026-06-16 09:22:57 +0800 CST
view 515
Context-Mode 是一个登顶 GitHub 和 Hacker News 的开源 MCP 插件,通过沙盒隔离、语义检索、Think in Code 三大核心机制,将 AI 编程的 Token 消耗降低 98%,连续编程时间从 30 分钟拉到 3 小时。本文从架构设计、代码实战、多平台接入到性能优化,全面拆解这个被 24 万开发者采用的项目。
MCP
AI编程
Token优化
Context-Mode
开源项目
上下文管理
MCP 协议史上最大修订:2026年从AI工具调用协议到生产级智能体基础设施的蜕变
编程
MCP 协议史上最大修订:2026年从AI工具调用协议到生产级智能体基础设施的蜕变
2026-07-23 09:14:29 +0800 CST
view 249
深度解析MCP协议2026-07-28候选规范:OIDC身份认证、W3C分布式追踪、多Agent协作协议、声明式扩展、Policy Engine与审计日志,从工具调用协议到生产级智能体基础设施的完整蜕变
MCP
Model Context Protocol
AI Agent
智能体协议
OpenID Connect
分布式追踪
Node.js 26 深度解析:Temporal API 原生支持与 V8 14.6 引擎升级——后端 JavaScript 的时间处理革命
Node.js 26 深度解析:Temporal API 原生支持与 V8 14.6 引擎升级——后端 JavaScript 的时间处理革命
2026-05-09 12:47:12 +0800 CST
view 1163
Node.js 26 于 2026 年 5 月 5 日发布,最重磅特性是 Temporal API 默认启用。本文深入解析 Temporal API 的十大核心类型、不可变设计、IANA 时区支持、夏令时处理,以及从 Date 的渐进迁移指南,附性能基准测试和实战案例。
Node.js
Temporal API
JavaScript
V8
后端开发
Qwen3.8 深度拆解:当阿里巴巴用 2.4 万亿参数 MoE 架构决定「干掉所有编程助手」——从 Gated DeltaNet 混合注意力到 100 万上下文 Token 的 Agent-First 大模型工程哲学
编程
Qwen3.8 深度拆解:当阿里巴巴用 2.4 万亿参数 MoE 架构决定「干掉所有编程助手」——从 Gated DeltaNet 混合注意力到 100 万上下文 Token 的 Agent-First 大模型工程哲学
2026-08-04 09:16:35 +0800 CST
view 27
深度拆解阿里巴巴2.4万亿参数Qwen3.8大模型:稀疏MoE架构、Gated DeltaNet混合注意力、100万上下文Token、编程+办公双引擎、完整部署代码与性能基准对比
Qwen3.8
阿里巴巴
MoE
大模型开源
2.4万亿参数
Gated DeltaNet
混合注意力
Agent
编程助手
千问办公
开源模型
vLLM
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
编程
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
2026-06-29 17:16:04 +0800 CST
view 522
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
Node.js 原生 SQLite 深度实战:从 node:sqlite 到零依赖数据库——同步 API、WASM 引擎与百万级写入优化的完全指南(2026)
编程
Node.js 原生 SQLite 深度实战:从 node:sqlite 到零依赖数据库——同步 API、WASM 引擎与百万级写入优化的完全指南(2026)
2026-06-02 07:24:55 +0800 CST
view 525
Node.js 原生 SQLite 模块深度实战:从 node:sqlite 架构原理到百万级写入优化,涵盖同步 API、WASM 引擎、事务管理、全文搜索、备份恢复与 better-sqlite3 迁移完全指南
Node.js
SQLite
WASM
数据库
性能优化
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 292
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
IntelliJ IDEA 2026.1 深度解析:IDE 的战略升维——从代码编辑器到 AI Agent 开放平台
编程
IntelliJ IDEA 2026.1 深度解析:IDE 的战略升维——从代码编辑器到 AI Agent 开放平台
2026-05-09 23:43:15 +0800 CST
view 760
IntelliJ IDEA 2026.1深度解析:ACP协议开放AI Agent平台、Codex/Cursor/Claude多Agent协作、Spring运行时洞察、Java 26首日支持、虚拟线程调试工具链等核心新特性全剖析
IntelliJ IDEA
JetBrains
Java
Kotlin
AI Agent
ACP协议
IDE
编程工具
Spring
虚拟线程
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
编程
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
2026-06-02 09:36:52 +0800 CST
view 707
从vLLM到TensorRT-LLM,一次讲透vLLM、SGLang、TensorRT-LLM、llama.cpp四大LLM推理框架的架构哲学、核心原理、生产级部署实战与选型决策树。
LLM
vLLM
TensorRT-LLM
llama.cpp
SGLang
推理优化
GPU
百度 Unlimited OCR 深度解析:R-SWA 如何把 KV Cache 从线性增长压成常数,端到端 OCR 的长文档革命
编程
百度 Unlimited OCR 深度解析:R-SWA 如何把 KV Cache 从线性增长压成常数,端到端 OCR 的长文档革命
2026-06-29 19:45:14 +0800 CST
view 257
深度解析百度开源的 Unlimited OCR:R-SWA 如何把 KV Cache 从线性增长压成常数,解决长文档 OCR 的失忆问题,OmniDocBench v1.6 刷新 SOTA 93.92%
Unlimited OCR
百度
OCR
端到端
长文档
R-SWA
开源
深度学习
文档解析
Markdown
Go 1.26 Green Tea GC 深度拆解:10%~40% GC 开销消失的背后,Go 团队做对了什么?
编程
Go 1.26 Green Tea GC 深度拆解:10%~40% GC 开销消失的背后,Go 团队做对了什么?
2026-07-29 00:45:39 +0800 CST
view 84
深度拆解 Go 1.26 默认启用的 Green Tea 垃圾回收器:分代复制算法如何让 GC CPU 开销降低 10-40%,附完整代码实战与迁移指南。
Go语言
Green Tea GC
垃圾回收
Go 1.26
性能优化
内存管理
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
编程
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
2026-07-05 18:13:38 +0800 CST
view 434
深度解析SGLang高性能大模型推理框架:RadixAttention自动前缀缓存、零开销C++调度器、PD分离架构、多LoRA批处理、推测解码。含完整代码实战与vLLM/TensorRT-LLM对比。
SGLang
RadixAttention
LLM
推理引擎
大模型
vLLM
GPU
高并发
AI基础设施
性能优化
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
121
122
123
124
125
...
129
下一页