程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24
view 580
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
百度 Unlimited OCR 深度解析:端到端长文档 OCR 的新范式——从 R-SWA 机制到 3B 参数模型、从 KV Cache 压缩到生产级部署的完整技术指南(2026)
编程
百度 Unlimited OCR 深度解析:端到端长文档 OCR 的新范式——从 R-SWA 机制到 3B 参数模型、从 KV Cache 压缩到生产级部署的完整技术指南(2026)
2026-07-04 03:13:57
view 520
2026年6月百度开源Unlimited OCR,5天GitHub Star破1万。深度解析R-SWA机制、3B参数模型架构、KV Cache压缩原理,含完整部署代码与生产级应用案例。
百度
Unlimited OCR
OCR
R-SWA
KV Cache
长文档识别
端到端OCR
多模态模型
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
编程
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
2026-07-16 12:50:04
view 338
深度对比 llama.cpp 与 LiteBox 两大本地 LLM 推理框架:GGUF 格式设计、K-Quant 量化内核、KV cache 管理、多后端抽象、并发架构,配完整代码实战与性能实测数据。
llama.cpp
LiteBox
GGUF
量化
KV cache
本地LLM
推理框架
Rust
C/C++
模型压缩
Kimi K3 深度拆解:2.8 万亿参数的开源巨兽如何用三招自研架构捅破闭源天花板——从 MoE 稀疏路由到 100 万 Token 上下文的全栈工程哲学
编程
Kimi K3 深度拆解:2.8 万亿参数的开源巨兽如何用三招自研架构捅破闭源天花板——从 MoE 稀疏路由到 100 万 Token 上下文的全栈工程哲学
2026-08-03 18:46:07
view 286
深度拆解Kimi K3 2.8万亿参数MoE大模型架构:896专家稀疏路由、KDA混合线性注意力、Attention Residuals深层信息直通、Moon Clip二阶优化器、分层KV Cache、MoonEP通信库、FlashKDA算子、AgentEnv沙箱,附完整代码示例与实战部署指南
Kimi K3
MoE
月之暗面
Moonshot AI
开源大模型
混合专家
KDA
长上下文
100万Token
Vision in the Loop
MoonEP
FlashKDA
AgentEnv
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
编程
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46
view 524
深度解析 vLLM 0.5 的 PagedAttention 架构原理,涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术,并通过代码实战和性能对比,帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM
PagedAttention
LLM推理
CUDA
KV Cache
深度学习
AI基础设施
Python
生产部署
性能优化
SGLang 深度拆解:当 RadixAttention 把 KV Cache 变成一棵可复用的「记忆树」——从前缀缓存、零开销调度到生产级推理服务的全链路实战
编程
SGLang 深度拆解:当 RadixAttention 把 KV Cache 变成一棵可复用的「记忆树」——从前缀缓存、零开销调度到生产级推理服务的全链路实战
2026-08-18 21:45:21
view 164
深度拆解 SGLang 推理引擎:从 RadixAttention 前缀缓存、零开销 CPU 调度、约束解码到 PD 分离与量化,配可运行代码与生产调优清单。
SGLang
RadixAttention
KV Cache
LLM推理
前缀缓存
结构化生成
DuckDB 深度解剖:把 OLAP 数据库塞进一个进程,它凭什么比你的数仓还快
编程
DuckDB 深度解剖:把 OLAP 数据库塞进一个进程,它凭什么比你的数仓还快
2026-07-23 19:44:10
view 292
DuckDB 是 OLAP 版的 SQLite:进程内嵌入、零依赖、单文件、列式存储加向量化执行引擎。本文从工程师视角深度拆解向量化执行、Push-Based流水线与Morsel并行、列存压缩、Larger-than-Memory外存溢写、直接查Parquet/S3、跨源联邦查询与DuckDB-Wasm,配Python/SQL代码实战与性能优化清单。
DuckDB
OLAP
列式存储
向量化执行
Morsel并行
数据分析
Parquet
嵌入式数据库
数据库
WebAssembly
DuckDB 深度拆解:当分析型数据库学会「嵌入式」——列式向量化引擎与 Morsel 驱动并行如何重写 OLAP 心智模型
编程
DuckDB 深度拆解:当分析型数据库学会「嵌入式」——列式向量化引擎与 Morsel 驱动并行如何重写 OLAP 心智模型
2026-07-15 19:43:28
view 377
从架构原理到实战场景,深度拆解 DuckDB 嵌入式分析型数据库的列式向量化引擎、Morsel 驱动并行架构、MySQL+DuckDB 混合存储引擎,以及 10 个日常使用场景和 7 个性能优化技巧。
DuckDB
OLAP
列式存储
向量化执行
Morsel驱动并行
数据分析
嵌入式数据库
Parquet
DuckDB 深度拆解:嵌入式 OLAP 数据库的列式向量化引擎架构与工程实践
编程
DuckDB 深度拆解:嵌入式 OLAP 数据库的列式向量化引擎架构与工程实践
2026-07-15 19:43:45
view 274
从架构原理到实战场景,深度拆解 DuckDB 嵌入式分析型数据库的列式向量化引擎、Morsel 驱动并行架构、MySQL+DuckDB 混合存储引擎,以及 10 个日常使用场景和 7 个性能优化技巧。
DuckDB
OLAP
列式存储
向量化执行
Morsel驱动并行
数据分析
嵌入式数据库
Parquet
Headroom 全解析:从 Rust 内核到 CCR 可逆协议,AI Agent Token 优化的终极方案(2026)
编程
Headroom 全解析:从 Rust 内核到 CCR 可逆协议,AI Agent Token 优化的终极方案(2026)
2026-06-29 08:15:21
view 444
深度解析 Headroom:从 Rust 内核到 CCR 可逆协议,六大压缩算法引擎,五种部署模式,实测 60-95% Token 节省,答案准确度零损失。
AI Agent
Token优化
Headroom
Rust
上下文压缩
Headroom 深度实战:当 AI Agent 学会了「精打细算」——从 Token 成本黑洞到上下文压缩的底层原理、从 CCR 可逆存储到六大压缩算法的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 学会了「精打细算」——从 Token 成本黑洞到上下文压缩的底层原理、从 CCR 可逆存储到六大压缩算法的生产级完全指南(2026)
2026-06-21 15:57:54
view 433
深度解析开源项目 Headroom:AI Agent 的上下文压缩中间层,60-95% Token 节省,CCR 可逆存储,六大压缩算法完全指南。
AI编程
Token压缩
Headroom
上下文管理
LLM推理优化
AI Agent
Headroom深度解析:AI Agent上下文压缩层如何节省95% Token
编程
Headroom深度解析:AI Agent上下文压缩层如何节省95% Token
2026-06-29 10:12:11
view 551
Headroom 可在不显著损失信息的前提下将 AI Agent 上下文 Token 压缩 60%-95%。本文深度解析其核心原理、源码实现、集成实战与性能基准,附完整可运行代码示例。
AI Agent
上下文压缩
Headroom
Token优化
LangChain
Headroom深度解析:让AI Agent「吃得少、营养好」的上下文压缩革命
编程
Headroom深度解析:让AI Agent「吃得少、营养好」的上下文压缩革命
2026-07-05 04:43:37
view 303
Headroom是一个开源的LLM上下文压缩中间件,能减少60-95%的token消耗,同时保持97%+的信息精度。本文深度解析其四层压缩管线、架构设计、使用模式和实战案例。
AI Agent
上下文压缩
Headroom
LLM
Token优化
百度 Unlimited OCR 深度解析:端到端架构、R-SWA 常数量化 KV Cache,以及让 AI 像人一样抄书的工程革命
编程
百度 Unlimited OCR 深度解析:端到端架构、R-SWA 常数量化 KV Cache,以及让 AI 像人一样抄书的工程革命
2026-07-05 05:41:29
view 438
深度解析百度2026年开源的Unlimited OCR模型:端到端架构、R-SWA常数量化KV Cache机制、MoE解码器设计,以及让AI像人一样连续解析长文档的工程革命。含完整代码实战。
OCR
百度
端到端OCR
R-SWA
KV Cache
文档识别
多模态
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:48:24
view 179
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:50:04
view 239
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
基于 OpenCode 的开源智能体平台:code-agent 让 AI 帮你在 UBML 低代码场景做页面开发
编程
基于 OpenCode 的开源智能体平台:code-agent 让 AI 帮你在 UBML 低代码场景做页面开发
2026-07-05 08:54:51
view 422
code-agent是基于OpenCode的开源AI智能体平台,为UBML低代码场景做了领域扩展。支持Agent对话写代码、UBML知识包让AI理解低代码组件、YAML DSL描述页面一键编译校验预览反编译、OpenSpec规约驱动开发。Apache-2.0+MIT双协议。
OpenCode
code-agent
UBML
低代码
AI Agent
智能体平台
YAML DSL
页面生成
Apache-2.0
开源
Bun
Farris
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
编程
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
2026-07-28 11:52:16
view 298
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
Headroom 深度实战:当 AI Agent 遇见上下文压缩——从 Token 黑洞到 60-95% 暴降的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 遇见上下文压缩——从 Token 黑洞到 60-95% 暴降的生产级完全指南(2026)
2026-06-16 13:16:31
view 831
Headroom 是一个 GitHub 上 26000+ Star 的开源项目,作为 AI Agent 的上下文压缩中间层,实测节省 60-95% Token,精度保留率 97%。本文从架构设计、六大压缩算法、CCR 可逆压缩、跨 Agent 记忆等维度深度拆解。
AI Agent
Headroom
Token优化
上下文压缩
LLM
开源项目
深度拆解Headroom:AI Agent上下文压缩层实战指南,Token暴降60%到95%的工程原理
编程
深度拆解Headroom:AI Agent上下文压缩层实战指南,Token暴降60%到95%的工程原理
2026-07-05 14:13:48
view 333
深度拆解GitHub爆火项目Headroom——AI Agent上下文压缩层。从架构设计、压缩算法到工程实战,详解SmartCrusher/CodeCompressor/Kompress三大压缩器原理,实测Token节省60%-95%,精度保留97%。
Headroom
AI Agent
Token优化
上下文压缩
开源项目
上下文压缩实战:Headroom 如何让 AI Agent 的 Token 成本暴降 95%——从原理深度拆解到生产级接入完全指南(2026)
编程
上下文压缩实战:Headroom 如何让 AI Agent 的 Token 成本暴降 95%——从原理深度拆解到生产级接入完全指南(2026)
2026-06-10 22:16:42
view 852
Headroom上下文压缩中间层实战:Token节省60-95%,精度保留97%。从原理拆解到LangChain/OpenClaw生产级集成,附完整代码示例。
AI Agent
上下文压缩
Token优化
Headroom
LLM成本
LangChain
RAG
生产级实战
编程
apache自带的ab(http)与abs(https)压测工具用法详解
2024-11-19 01:53:49
view 8700
本文详细介绍了Apache自带的ab(http)和abs(https)压测工具的使用方法,包括吞吐率、并发连接数、用户请求等待时间等基本概念。通过示例代码展示如何使用ab工具进行压力测试,并提供了测试结果的分析,包括请求数、响应时间等关键指标。最后,比较了Windows和Linux环境下的测试结果,指出了服务器性能的优化方向。
性能测试
网络工具
Apache
Headroom 深度解析:AI Agent 上下文压缩层——Token 暴降 60-95% 背后的架构哲学与生产级实践
编程
Headroom 深度解析:AI Agent 上下文压缩层——Token 暴降 60-95% 背后的架构哲学与生产级实践
2026-06-30 03:12:30
view 444
深度解析 Headroom 上下文压缩层:透明代理架构、SDC/SSA/RME/FO 四大压缩算法、源码级实现分析、生产级部署实践与成本测算
Headroom
AI Agent
上下文压缩
Token优化
LangChain
AutoGen
MCP
Effect 4.0 深度拆解:当 TypeScript 决定「干掉全部 try-catch 地狱」——一个生产级函数式框架如何用 Effect 类型和结构化并发重新定义「可靠代码」的终极形态
编程
Effect 4.0 深度拆解:当 TypeScript 决定「干掉全部 try-catch 地狱」——一个生产级函数式框架如何用 Effect 类型和结构化并发重新定义「可靠代码」的终极形态
2026-08-04 20:45:39
view 190
深度拆解Effect 4.0 Beta:TypeScript函数式编程框架,Effect类型签名实现编译期可靠性保证,Layer系统类型安全依赖注入,Fiber结构化并发与资源管理,Schema模块从类型到运行时验证的桥梁,AI时代LLM友好代码生成,从70KB到20KB的包体积革命
Effect
TypeScript
函数式编程
依赖注入
结构化并发
Schema
生产级代码
AI编程
类型安全
错误处理
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
上一页
1
...
66
67
68
69
70
...
120
下一页