程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
编程
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
2026-07-14 18:47:11 +0800 CST
view 206
深度拆解 LMCache 项目:从 Transformer Attention 机制出发,详细讲解 KV Cache 原理、三层存储架构、生产部署实战、Docker Compose 配置、CacheGen 压缩算法、PD 分离、跨实例 KV Cache 共享,以及与 vLLM/SGLang 的集成,配完整代码示例与性能调优指南。实测 DeepSeek 多轮对话 3~5 倍 TTFT 改善。
LMCache
KV Cache
LLM推理
vLLM
SGLang
推理优化
DeepSeek
分布式缓存
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 375
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
AtomCode深度实战:用Rust重构终端AI编码助手,鸿蒙PC开发迎来新纪元
编程
AtomCode深度实战:用Rust重构终端AI编码助手,鸿蒙PC开发迎来新纪元
2026-05-21 17:23:11 +0800 CST
view 1379
深度剖析AtomCode终端AI编码助手的技术架构与实战用法,涵盖Rust底层实现、Agent Loop机制、21个内置工具、鸿蒙PC原生适配,以及与Claude Code的对比分析。
Rust
AI编码
鸿蒙PC
AtomCode
终端工具
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 190
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 740
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
VoxCPM 深度拆解:当无分词器遇见扩散自回归——从 MiniCPM-4 到零样本声音克隆的 TTS 架构革命(2026)
编程
VoxCPM 深度拆解:当无分词器遇见扩散自回归——从 MiniCPM-4 到零样本声音克隆的 TTS 架构革命(2026)
2026-08-14 12:15:05 +0800 CST
view 55
深度拆解 VoxCPM 无分词器 TTS 系统:从 MiniCPM-4 基座到扩散自回归架构,从零样本声音克隆到 30 种语言支持,配完整代码实战与 15 条生产踩坑清单。
VoxCPM
TTS
语音合成
开源
AI
MiniCPM
声音克隆
扩散模型
多语言
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
编程
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
2026-08-01 08:18:35 +0800 CST
view 249
深度拆解 llama.cpp 全栈架构:从 GGML 到 GGUF 格式演进、K-Quant 量化内核原理、ggml 张量计算图层、libllama 推理逻辑层、10+ 硬件后端调度,以及生产调优实战与踩坑清单。
llama.cpp
GGUF
GGML
量化
本地LLM
CPU推理
GPU加速
跨平台
K-Quant
VoxCPM2 深度实战:当开源 TTS 突破「tokenizer 诅咒」——从Tokenizer-Free 架构到本地 CPU/GPU 部署的完全指南(2026)
编程
VoxCPM2 深度实战:当开源 TTS 突破「tokenizer 诅咒」——从Tokenizer-Free 架构到本地 CPU/GPU 部署的完全指南(2026)
2026-06-09 14:50:53 +0800 CST
view 657
VoxCPM2 深度实战:当开源 TTS 突破「tokenizer 诅咒」——从Tokenizer-Free 架构到本地 CPU/GPU 部署的完全指南(2026) 前言 2026年的TTS(Text-to-Speech,语音合成)战场,用一个字形容就是「卷」。 闭源巨头们打得不可开交——GPT-4o 的语音模式刚刚让人惊艳,ElevenLabs 又祭出了新一代多语言引擎,Google 的 Pro...
VoxCPM2
TTS
语音合成
AI语音
开源
Diffusion
Tokenizer-Free
MiniCPM
多语言
语音克隆
SPEC CPU 2026 深度实战:九年磨一剑的CPU性能基准测试革命——从架构演进到生产级调优的全链路解析
编程
SPEC CPU 2026 深度实战:九年磨一剑的CPU性能基准测试革命——从架构演进到生产级调优的全链路解析
2026-05-08 13:07:25 +0800 CST
view 1124
SPEC CPU 2026基准测试套件深度解析:九年来的首次重大更新,52个测试项目覆盖AI、科学计算、编译器优化等前沿领域,支持C++17/Fortran 2018,内存需求提升到64GB,支持超过1024线程并行计算。
SPEC CPU 2026
CPU基准测试
性能评测
编译器优化
并行计算
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
编程
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
2026-07-23 11:45:35 +0800 CST
view 217
深度解析纯 Rust WebGPU 推理引擎 shimmy v2.3.0:GGUF 原生加载、OpenAI API 兼容、KV Cache 量化、Flash Attention 等效实现,配 Tauri 桌面应用集成实战与性能基准测试。
shimmy
WebGPU
Rust
GGUF
LLM
llama.cpp
推理引擎
WebAssembly
Shimmy 深度解析:纯 Rust WebGPU 推理引擎如何用一行命令颠覆浏览器端 AI 推理
编程
Shimmy 深度解析:纯 Rust WebGPU 推理引擎如何用一行命令颠覆浏览器端 AI 推理
2026-07-25 15:14:38 +0800 CST
view 157
深度解析 Shimmy v2.3.0:纯 Rust WebGPU 推理引擎如何实现浏览器端原生运行 GGUF 量化模型,OpenAI API 兼容,零依赖部署。
WebGPU
Rust
GGUF
AI推理
浏览器
llama.cpp
OpenAI API
前端工程
sched_ext 深度拆解:当 Linux 决定把调度器「按 cgroup 分包出租」——从 DSQ 阻抗匹配到 cid 拓扑 ID 与子调度器的架构手术
编程
sched_ext 深度拆解:当 Linux 决定把调度器「按 cgroup 分包出租」——从 DSQ 阻抗匹配到 cid 拓扑 ID 与子调度器的架构手术
2026-08-09 00:55:14 +0800 CST
view 119
深度拆解 sched_ext:从 DSQ 阻抗匹配层、完整调度周期与 custody 语义,到 2026 主线内核新增的 cid 拓扑有序 CPU ID 与按 cgroup 挂载的子调度器。含两个可读的 BPF 调度器完整实现、events 计数器逐条排障表、七条调优经验与十条踩坑清单。
sched_ext
eBPF
Linux内核
CPU调度
BPF
内核调度器
cgroup
性能优化
Rust
scx
sched_ext 源码级深度拆解:把 Linux 调度器变成可热插拔的 BPF 程序——从 DSQ 状态机到手写一个大小核感知调度器(附完整 C 实现)
编程
sched_ext 源码级深度拆解:把 Linux 调度器变成可热插拔的 BPF 程序——从 DSQ 状态机到手写一个大小核感知调度器(附完整 C 实现)
2026-08-02 02:19:25 +0800 CST
view 134
深度拆解 Linux 6.12 主线 sched_ext 可扩展调度器类:为什么 CFS/EEVDF 在异构硬件下失灵、sched_class 层级与 struct_ops 加载机制、DSQ 三件套与回调时序状态机,手写 v1~v4 四个逐步进化的 BPF 调度器(含完整可编译 C 代码与大小核感知实现),附 verifier 十条纪律、scx_lavd/scx_layered/scx_rusty 选型决策树、可观测调试与十条生产踩坑清单。
sched_ext
Linux内核
BPF
CPU调度器
eBPF
EEVDF
scx
性能优化
异构计算
云原生
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
编程
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
2026-07-16 12:50:04 +0800 CST
view 266
深度对比 llama.cpp 与 LiteBox 两大本地 LLM 推理框架:GGUF 格式设计、K-Quant 量化内核、KV cache 管理、多后端抽象、并发架构,配完整代码实战与性能实测数据。
llama.cpp
LiteBox
GGUF
量化
KV cache
本地LLM
推理框架
Rust
C/C++
模型压缩
从Windsurf到Devin Desktop:AI编程工具的平台化战略转型深度解析
编程
从Windsurf到Devin Desktop:AI编程工具的平台化战略转型深度解析
2026-07-10 20:14:06 +0800 CST
view 361
2026年7月Windsurf更名为Devin Desktop,标志AI编程工具进入平台化时代。本文深度解析:从技术架构(ACP协议、Rust重写、Kanban看板)到战略意图(从工具到平台的升维竞争),以及开发者如何在新范式中保持竞争力。
AI编程
Devin Desktop
Windsurf
多Agent
ACP协议
Rust
Kimi K3 纯 C 语言 CPU 推理实战:2.8 万亿参数大模型如何在单台 MacBook 上跑起来
编程
Kimi K3 纯 C 语言 CPU 推理实战:2.8 万亿参数大模型如何在单台 MacBook 上跑起来
2026-08-12 19:44:53 +0800 CST
view 100
深度拆解纯C语言实现Kimi K3大模型CPU推理:MoE架构、MXFP4量化、SIMD优化、KDA注意力机制,配完整代码示例与生产踩坑清单
Kimi K3
MoE架构
CPU推理
纯C语言
极限量化
VSCode 2026 Agent Runtime 深度解析:IDE 原生多智能体协同开发架构从零到一
编程
VSCode 2026 Agent Runtime 深度解析:IDE 原生多智能体协同开发架构从零到一
2026-06-01 18:25:03 +0800 CST
view 577
深入解析 VSCode 2026 原生 Agent Runtime 架构:ACP 协议、Intent Bus、WASM 沙箱、RAG-Augmented 工作流与生产级性能优化实践。
VSCode
多智能体
Agent Runtime
ACP协议
WASM
Intent Bus
AI编程
纯 C 语言运行 Kimi K3:2.8 万亿参数大模型的 CPU 推理实战与架构深度拆解
编程
纯 C 语言运行 Kimi K3:2.8 万亿参数大模型的 CPU 推理实战与架构深度拆解
2026-08-12 19:45:46 +0800 CST
view 90
深度拆解纯C语言实现Kimi K3大模型CPU推理:MoE架构、MXFP4量化、SIMD优化、KDA注意力机制,配完整代码示例与生产踩坑清单
Kimi K3
MoE架构
CPU推理
纯C语言
极限量化
Python 3.14 无 GIL 深度实战:当 CPython 终于解开全局锁,多线程真能起飞吗?
编程
Python 3.14 无 GIL 深度实战:当 CPython 终于解开全局锁,多线程真能起飞吗?
2026-07-11 02:45:04 +0800 CST
view 302
深度拆解 Python 3.14 free-threaded(无 GIL)构建:从 GIL 黑历史、引用计数原子化、_PyMutex、线程安全陷阱,到 CPU 密集多线程基准、C 扩展迁移、子解释器沙箱与生产落地决策框架,附可运行代码。
Python 3.14
无 GIL
free-threaded
多线程
CPython
并发编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:48:24 +0800 CST
view 147
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:50:04 +0800 CST
view 186
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
编程
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
2026-07-28 11:52:16 +0800 CST
view 229
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
Grok Build 架构深度解析:xAI 开源终端 AI 工程师的工程哲学与技术内幕
编程
Grok Build 架构深度解析:xAI 开源终端 AI 工程师的工程哲学与技术内幕
2026-07-23 09:43:05 +0800 CST
view 301
深度解析 xAI 开源的 Grok Build:从 Rust monorepo 架构、ACP 开放协议、Actor 并发模型、三层沙箱安全到 Leader 多会话共享,配完整代码示例与生产部署指南
AI编程
Grok Build
xAI
Rust
多智能体
ACP协议
沙箱安全
IntelliJ IDEA 2026.1 深度解析:IDE 的战略升维——从代码编辑器到 AI Agent 开放平台
编程
IntelliJ IDEA 2026.1 深度解析:IDE 的战略升维——从代码编辑器到 AI Agent 开放平台
2026-05-09 23:43:15 +0800 CST
view 851
IntelliJ IDEA 2026.1深度解析:ACP协议开放AI Agent平台、Codex/Cursor/Claude多Agent协作、Spring运行时洞察、Java 26首日支持、虚拟线程调试工具链等核心新特性全剖析
IntelliJ IDEA
JetBrains
Java
Kotlin
AI Agent
ACP协议
IDE
编程工具
Spring
虚拟线程
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
18
19
20
21
22
...
61
下一页