程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 398
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 188
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
编程
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
2026-07-15 10:13:07 +0800 CST
view 252
深度拆解 vLLM 核心架构:从 PagedAttention 分页内存管理、Continuous Batching 动态调度,到 Speculative Decoding、Prefix Caching 等高级特性,配完整代码示例与生产部署指南。
vLLM
PagedAttention
LLM推理
深度学习
GPU优化
Continuous Batching
LangChain4j:把LangChain的能力带入Java世界,一个库搞定LLM集成、RAG、Agent
编程
LangChain4j:把LangChain的能力带入Java世界,一个库搞定LLM集成、RAG、Agent
2026-04-16 19:11:21 +0800 CST
view 793
LangChain4j是Java世界的LangChain,简化Java应用集成大语言模型,支持OpenAI/Claude/DeepSeek等模型,提供RAG、Agent、Tool Calling、Memory等完整能力,Apache 2.0协议。
Java
LangChain
AI
LLM
RAG
Agent
开源
工具调用
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 513
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
编程
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
2026-07-27 03:44:38 +0800 CST
view 199
从显存字节到 CUDA kernel 源码级拆解 vLLM:PagedAttention 分页显存管理、Continuous Batching 连续批处理调度、Prefix Caching 前缀缓存与量化/投机解码实战,附完整代码与生产调参踩坑清单。
vLLM
PagedAttention
大模型推理
KV Cache
显存优化
连续批处理
量化
LLM Serving
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 556
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
Helidon 4.4:当 Java 微服务框架开始"长脑子",AI 编排不再是 Python 专利
编程
Helidon 4.4:当 Java 微服务框架开始"长脑子",AI 编排不再是 Python 专利
2026-04-08 15:04:17 +0800 CST
view 859
Oracle Helidon 4.4.0 引入 AI Agent 编排能力,Java 微服务框架进入 AI 原生时代。深度解析 Workflows、Dynamic Agents 两种执行模式,完整代码实战。
Helidon
Java
AI Agent
LangChain4j
微服务
超越 OpenClaw 的 Agent 新王:Hermes Agent 自进化闭环架构深度解析
编程
超越 OpenClaw 的 Agent 新王:Hermes Agent 自进化闭环架构深度解析
2026-04-17 19:45:47 +0800 CST
view 722
深度解析 Nous Research 开源的 Hermes Agent,从四层记忆系统、自进化闭环、平台无关核心架构等角度全面剖析这个 2026 年最火的开源 AI Agent 项目,并对比 OpenClaw 的技术路线差异
AI Agent
Hermes Agent
Nous Research
自我进化
四层记忆
开源项目
GitHub Trending
Cognee 深度实战:当 AI Agent 装上持久化记忆——从向量搜索到知识图谱的生产级完全指南(2026)
编程
Cognee 深度实战:当 AI Agent 装上持久化记忆——从向量搜索到知识图谱的生产级完全指南(2026)
2026-06-09 23:18:18 +0800 CST
view 555
深度解析开源项目 Cognee 如何通过向量搜索与知识图谱的融合,为 AI Agent 提供持久化、动态化的记忆能力。从核心概念、架构设计到生产级代码实战。
AI Agent
记忆系统
知识图谱
向量搜索
Cognee
Python
LangChain
龙架构入主 PostgreSQL 官方仓库:当自主指令系统敲开全球顶级数据库生态大门
编程
龙架构入主 PostgreSQL 官方仓库:当自主指令系统敲开全球顶级数据库生态大门
2026-08-12 06:45:44 +0800 CST
view 150
深度解析龙架构进入PostgreSQL官方仓库的技术意义:从LoongArch指令系统设计、PostgreSQL跨架构移植挑战、龙芯3B6000性能基准到完整部署实战,涵盖代码示例与生产踩坑清单。
LoongArch
PostgreSQL
龙架构
龙芯
国产CPU
数据库
开源生态
自主可控
DeerFlow 2.0 深度实战:从「对话机器人」到「可进化超级智能体」——字节跳动开源超级 Agent 运行时的架构设计与生产级实践
编程
DeerFlow 2.0 深度实战:从「对话机器人」到「可进化超级智能体」——字节跳动开源超级 Agent 运行时的架构设计与生产级实践
2026-05-22 10:29:50 +0800 CST
view 1017
深度解析字节跳动开源的超级智能体运行时框架DeerFlow 2.0,从多层记忆架构、Supervisor-Worker多Agent协作到Docker沙箱隔离,全面拆解其工程设计细节与生产实践。
AI Agent
DeerFlow
字节跳动
多智能体
LangChain
沙箱
上下文工程
AI Agent长期记忆工程实战:从语义向量到生产级记忆系统的完整落地
编程
AI Agent长期记忆工程实战:从语义向量到生产级记忆系统的完整落地
2026-06-29 04:44:18 +0800 CST
view 410
深入探讨如何为AI Agent构建持久化、可检索、分层管理的长期记忆系统,从向量数据库选型到LangChain生产级集成,附带完整Python代码。
AI Agent
长期记忆
向量数据库
Qdrant
LangChain
Google Gemma 4 深度解析:当开源AI进入「逐层嵌入平行化」时代
编程
Google Gemma 4 深度解析:当开源AI进入「逐层嵌入平行化」时代
2026-04-09 04:54:56 +0800 CST
view 1083
Google于2026年4月发布Gemma 4开源模型系列,首次全面切换Apache 2.0许可证,搭载Per-Layer Embedding架构创新,26B MoE以3.8B激活参数击败Qwen3-235B。本文深度解析PLE架构、稀疏激活机制与全规格产品矩阵。
Gemma 4
Google
开源模型
Apache 2.0
MoE
Per-Layer Embedding
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:48:24 +0800 CST
view 150
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:50:04 +0800 CST
view 186
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
编程
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
2026-07-28 11:52:16 +0800 CST
view 234
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
AMD ROCm 7.14 正式版发布:TheRock 构建系统 × Ryzen AI Max PRO 400 × PyTorch 2.12 生产级实战
编程
AMD ROCm 7.14 正式版发布:TheRock 构建系统 × Ryzen AI Max PRO 400 × PyTorch 2.12 生产级实战
2026-07-23 12:17:54 +0800 CST
view 316
深度解析 AMD ROCm 7.14 正式版:TheRock 模块化构建系统、Ryzen AI Max PRO 400 统一内存架构、PyTorch 2.12+JAX 0.10.0 框架支持,配 HIPify 迁移实战与 vLLM 推理部署完整指南。
ROCm
AMD GPU
HIP
CUDA迁移
PyTorch
JAX
MI350P
Ryzen AI Max
Polars 深度实战:碾压 Pandas 的 Rust 极速 DataFrame 引擎——从 Apache Arrow 内存模型到 Lazy Execution 的完全指南(2026)
编程
Polars 深度实战:碾压 Pandas 的 Rust 极速 DataFrame 引擎——从 Apache Arrow 内存模型到 Lazy Execution 的完全指南(2026)
2026-06-02 16:24:32 +0800 CST
view 720
深度解析 Polars 如何基于 Rust 和 Apache Arrow 实现比 Pandas 快 94 倍的性能,涵盖 Lazy Execution、查询优化、生产实践
Polars
Rust
DataFrame
Python数据分析
高性能计算
Apache Arrow
Lazy Execution
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
编程
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
2026-05-17 04:14:18 +0800 CST
view 645
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
编程
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
2026-05-17 04:14:33 +0800 CST
view 549
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
Hermes Agent 深度解析:自进化智能体的工程架构与 Skill 生成机制
编程
Hermes Agent 深度解析:自进化智能体的工程架构与 Skill 生成机制
2026-04-12 05:23:08 +0800 CST
view 1564
深入解析 Hermes Agent 的自进化智能体架构:从 Skill 自动生成引擎、三层记忆系统、Tool Router 到 Platform Bridge,源码级别剖析 + 代码示例,对比 OpenClaw
AI Agent
Hermes Agent
Nous Research
自进化
智能体
Skill生成
Memory Hub
Tool Router
Polars + Apache Arrow + DuckDB:现代列式数据处理三驾马车——从 Rust 引擎到嵌入式 OLAP 的生产级完全指南(2026)
编程
Polars + Apache Arrow + DuckDB:现代列式数据处理三驾马车——从 Rust 引擎到嵌入式 OLAP 的生产级完全指南(2026)
2026-06-25 18:50:28 +0800 CST
view 285
深度剖析 Polars、Apache Arrow 和 DuckDB 三驾现代列式数据处理马车,从 Rust 引擎到嵌入式 OLAP 数据库,万字长文带你掌握 2026 年数据工程的核心技术栈
Polars
Apache Arrow
DuckDB
数据分析
Rust
列式存储
Hermes Agent 自进化闭环深度拆解:从三层记忆到技能自沉淀,一次把 Nous Research 的 AI Agent 革命讲透(2026)
编程
Hermes Agent 自进化闭环深度拆解:从三层记忆到技能自沉淀,一次把 Nous Research 的 AI Agent 革命讲透(2026)
2026-07-13 16:47:56 +0800 CST
view 293
深度拆解 Hermes Agent 自进化 AI Agent 框架:从 GEPA 引擎、四层记忆系统、五步学习闭环到 MCP 集成,配完整代码示例与性能横评,一次把 2026 年最火的开源 Agent 讲透。
Hermes Agent
Nous Research
GEPA
AI Agent
自进化
记忆系统
MCP
SQLite FTS5
OpenRouter
Python
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
25
26
27
28
29
...
101
下一页