程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
LMCache 实战:大模型推理的 KV Cache 终极优化方案
编程
LMCache 实战:大模型推理的 KV Cache 终极优化方案
2026-07-23 08:44:51 +0800 CST
view 194
LMCache 实战指南:通过智能 KV Cache 管理,实现 LLM 推理吞吐量最高 10 倍提升,显存占用降低 40%-60%。包含 vLLM/TGI 集成、分布式缓存、性能调优最佳实践。
LMCache
KV Cache
LLM推理优化
vLLM
RAG性能优化
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
编程
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
2026-07-02 13:46:08 +0800 CST
view 429
深度解析 LMCache 开源 KV Cache 管理层项目:从三层存储架构、多后端支持、Disaggregated Prefill、CacheBlend、Segmented Prefill、P2P 共享到 Kubernetes 生产级部署的完整技术指南,含性能基准测试与代码实战
LMCache
KV Cache
LLM
vLLM
分布式
RDMA
Kubernetes
推理优化
Redis
NIXL
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
编程
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
2026-07-14 18:47:11 +0800 CST
view 199
深度拆解 LMCache 项目:从 Transformer Attention 机制出发,详细讲解 KV Cache 原理、三层存储架构、生产部署实战、Docker Compose 配置、CacheGen 压缩算法、PD 分离、跨实例 KV Cache 共享,以及与 vLLM/SGLang 的集成,配完整代码示例与性能调优指南。实测 DeepSeek 多轮对话 3~5 倍 TTFT 改善。
LMCache
KV Cache
LLM推理
vLLM
SGLang
推理优化
DeepSeek
分布式缓存
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 353
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 160
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
我把 Claude Code 变成了专属运维工程师:MCP + Skills 实战全记录
案例
我把 Claude Code 变成了专属运维工程师:MCP + Skills 实战全记录
2026-05-10 08:41:57 +0800 CST
view 722
通过 MCP + Skills 把 Claude Code 变成专属运维工程师。核心工具:mcp-ssh-manager(SSH操作)、vps-setup Skill(服务器初始化)。一句话完成 VPS 优化、项目部署、监控、Cloudflare 配置。安全边界设计:低权限账号、敏感操作人工审核、Zone-level 权限。
Claude Code
MCP
Skills
运维
SRE
SSH
Docker
Nginx
Cloudflare
AI运维
自动化
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 124
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
编程
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
2026-05-23 11:16:44 +0800 CST
view 626
深度解析UC San Diego Z Lab提出的DFlash(Block Diffusion for Flash Speculative Decoding),详解块扩散草稿模型如何突破自回归瓶颈,在Qwen3-8B上实现6倍无损加速的架构原理、训练方法与生产级实战代码
LLM推理,投机解码,块扩散模型,大模型加速,DFlash,Speculative Decoding,UC San Diego,PyTorch,深度学习,AI推理优化
Stanford CS336 深度实战:从零实现大语言模型——数据清洗、Transformer 架构、FlashAttention 系统优化到 RL 对齐的完全指南(2026)
编程
Stanford CS336 深度实战:从零实现大语言模型——数据清洗、Transformer 架构、FlashAttention 系统优化到 RL 对齐的完全指南(2026)
2026-06-02 20:14:38 +0800 CST
view 714
Stanford CS336 课程深度解读:从零实现大语言模型,覆盖 Tokenizer、Transformer、FlashAttention-2、FSDP 分布式训练、Scaling Law、Common Crawl 数据清洗去重、SFT 与 GRPO 对齐,配完整代码示例。
LLM
Transformer
Stanford CS336
FlashAttention
PyTorch
AI工程
分布式训练
强化学习
Kimi K3 开源深度拆解:2.8T MoE 架构 + 三项 Infra 突破,国产大模型首次摸到开源前沿的天花板
编程
Kimi K3 开源深度拆解:2.8T MoE 架构 + 三项 Infra 突破,国产大模型首次摸到开源前沿的天花板
2026-07-30 15:44:58 +0800 CST
view 379
深度拆解 Kimi K3 技术架构:2.8T MoE 稀疏化、Stable LatentMoE 稳定性设计、KDA+Gated MLA 混合注意力、Attention Residuals 深度优化,以及 MoonEP/FlashKDA/AgentEnv 三项开源 Infra 技术的工程价值。
Kimi K3
MoE
KDA
Stable LatentMoE
MoonEP
FlashKDA
AgentEnv
LLM
开源大模型
国产AI
DFlash 深度实战:基于块扩散的极速投机解码模型——2026年完全指南
编程
DFlash 深度实战:基于块扩散的极速投机解码模型——2026年完全指南
2026-05-25 03:31:37 +0800 CST
view 679
本文深入讲解DFlash的核心概念、架构设计、实战安装与集成,以及性能优化方法,帮助开发者全面掌握这一2026年热门的LLM推理速度优化工具。
DFlash
投机解码
LLM推理速度
开源项目
2026
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
编程
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
2026-04-15 17:20:25 +0800 CST
view 800
深度解析中科院与腾讯微信联合研发的 FlashPrefill 如何通过即时注意力模式发现和动态阈值筛选,将 25.6 万字符长文本处理速度提升 27.78 倍,同时保持近乎完美的精度。
LLM推理优化
FlashAttention
GPU计算
长文本处理
注意力机制
Transformer
深度学习
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
编程
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
2026-06-06 01:38:49 +0800 CST
view 776
DFlash(Block Diffusion for Flash Speculative Decoding)是ZLab于2026年提出的LLM推理加速框架,用块扩散模型替代传统自回归草稿模型,实现6倍以上无损加速。
LLM推理加速
推测解码
扩散模型
块扩散
DFlash
ZLab
大模型优化
Vibe-Trading 深度拆解:当 LLM 学会「炒股」——自然语言量化交易的多智能体架构与工程实践
编程
Vibe-Trading 深度拆解:当 LLM 学会「炒股」——自然语言量化交易的多智能体架构与工程实践
2026-07-15 11:45:26 +0800 CST
view 614
深度拆解港大HKUDS开源的Vibe-Trading项目:ReAct循环驱动的自然语言量化交易Agent、69个金融技能按需加载、30个多智能体Swarm团队、四大市场回测引擎、456个Alpha因子库,以及Shadow Account行为诊断功能,配完整代码示例与工程边界分析。
Vibe-Trading
LLM
量化交易
多智能体
ReAct
金融科技
HKUDS
Alpha Zoo
Shadow Account
GitHub Copilot 首次接入开源模型 Kimi K2.7 Code:从 MoE 架构到私有化部署的完整技术解析
编程
GitHub Copilot 首次接入开源模型 Kimi K2.7 Code:从 MoE 架构到私有化部署的完整技术解析
2026-07-03 14:13:50 +0800 CST
view 961
2026年7月3日,GitHub Copilot首次接入开源模型Kimi K2.7 Code。万字深度解析MoE架构、MLA注意力机制、30% Token优化技术原理、Copilot集成方案、私有化部署实战与成本分析。
Kimi K2.7 Code
GitHub Copilot
MoE
开源模型
AI编程
MoonshotAI
vLLM
模型部署
花束设计(Huashu Design)深度解析:当 Claude Code 拥有了一个「会设计的大脑」
编程
花束设计(Huashu Design)深度解析:当 Claude Code 拥有了一个「会设计的大脑」
2026-04-27 13:22:42 +0800 CST
view 1526
花束设计(Huashu Design)是一个给 Claude Code 的 HTML 原生设计 skill,7天获得6700+ Stars。本文深度解析其七大能力模块、防AI Slop规则系统、品牌资产协议和Stage+Sprite动画引擎。
Huashu Design
Claude Code
AI设计
Skill
HTML
前端
设计工具
开源
Rolldown 1.0 深度实战:当 Rust 重写前端打包器——从 Vite 8 底层引擎到 10-30 倍性能飞跃的生产级完全指南
编程
Rolldown 1.0 深度实战:当 Rust 重写前端打包器——从 Vite 8 底层引擎到 10-30 倍性能飞跃的生产级完全指南
2026-06-15 17:21:29 +0800 CST
view 569
Rolldown 1.0 用 Rust 融合 Rollup 生态兼容与 esbuild 极致性能,成为 Vite 8 统一底层引擎。从架构设计到 Tree-shaking 精度革命、代码分割策略、插件兼容、Vite 迁移实战的生产级完全指南。
Rolldown
Rust
Vite
打包器
Tree-shaking
前端工程化
oxc
Headroom深度解析:AI Agent上下文压缩层的架构革命——Token成本暴降95%与可逆压缩的完整实战指南
编程
Headroom深度解析:AI Agent上下文压缩层的架构革命——Token成本暴降95%与可逆压缩的完整实战指南
2026-07-05 21:12:46 +0800 CST
view 448
深度解析Headroom上下文压缩中间层:六大压缩算法(SmartCrusher/CodeCompressor/Kompress-base/ImageCompressor/IntelligentContext/CacheAligner)、CCR可逆压缩、跨Agent记忆共享、KV Cache命中率优化。含完整代码实战、基准测试对比、竞品分析与生产部署指南。
Headroom
AI Agent
上下文压缩
Token优化
CCR
可逆压缩
Context Engineering
KV Cache
LLM
Python
Hermes Agent v0.19.0 水银版深度解剖:80%速度提升背后的自进化架构革命
编程
Hermes Agent v0.19.0 水银版深度解剖:80%速度提升背后的自进化架构革命
2026-07-24 12:44:31 +0800 CST
view 269
深度解剖 Hermes Agent v0.19.0 水银版:80%速度提升、14倍TUI渲染提速、11项重磅新功能,以及支撑这一切的自进化闭环架构三层记忆系统完整解析
Hermes Agent
Hermes v0.19.0
Nous Research
AI Agent
自进化
Skill系统
开源
Quicksilver
AI Agent的「万能硬盘」来了!Mirage让AI用Bash一招打天下
案例
AI Agent的「万能硬盘」来了!Mirage让AI用Bash一招打天下
2026-05-09 07:14:45 +0800 CST
view 789
Mirage开源工具:把S3/Slack/GitHub/MongoDB等所有数据源映射成统一文件系统,让AI Agent用Bash命令操作一切。零API学习,两层缓存快照,一行代码接入主流框架
AI Agent
文件系统抽象
Bash工具
数据源统一
Mirage
零API学习
OpenAI Agents SDK
Cilium 深度拆解:当 eBPF 决定「干掉 iptables+kube-proxy」——从 22K Star 的云原生网络方案到 CNCF 毕业项目的全栈工程哲学
编程
Cilium 深度拆解:当 eBPF 决定「干掉 iptables+kube-proxy」——从 22K Star 的云原生网络方案到 CNCF 毕业项目的全栈工程哲学
2026-08-04 03:43:47 +0800 CST
view 111
深度拆解Cilium 22K Star eBPF云原生网络架构:内核态数据路径、XDP/TC钩子、Identity安全模型、L7策略、Hubble可观测性、WireGuard透明加密、Cluster Mesh跨集群通信,附完整代码示例与性能基准对比
Cilium
eBPF
Kubernetes
云原生
网络策略
Service Mesh
CNCF
kube-proxy
XDP
Hubble
WireGuard
Gateway API
Ruffle 深度拆解:当 Rust 为 Flash 续命——ActionScript 3.0 运行时、多渲染后端与 WebAssembly 全栈指南(2026)
编程
Ruffle 深度拆解:当 Rust 为 Flash 续命——ActionScript 3.0 运行时、多渲染后端与 WebAssembly 全栈指南(2026)
2026-07-17 06:13:59 +0800 CST
view 281
深度拆解 Rust 编写的 Flash 模拟器 Ruffle:从 AVM2 字节码虚拟机、显示列表渲染引擎、多后端渲染系统,到 WebAssembly 浏览器端部署、Security 安全模型与性能优化策略,配完整可运行代码。
Ruffle
Flash模拟器
Rust
ActionScript
WebAssembly
字节码虚拟机
多渲染后端
SWF
数字遗产
前端工具链
编程
git使用笔记
2024-11-18 18:17:44 +0800 CST
view 3525
本文介绍了如何在Linux系统中使用SSH进行免密码操作的步骤。首先生成SSH密钥对,然后将公钥复制到GitHub的SSH和GPG密钥设置中,以实现免密码登录。具体步骤包括生成密钥、复制公钥以及在GitHub上添加公钥的详细操作。
Linux
SSH
GitHub
安全
开发
Kimi K3 深度拆解:当月之暗面决定「干掉所有开源对手」——2.8 万亿参数、百万上下文与三大 Infra 开源如何重新定义开源大模型的天花板
编程
Kimi K3 深度拆解:当月之暗面决定「干掉所有开源对手」——2.8 万亿参数、百万上下文与三大 Infra 开源如何重新定义开源大模型的天花板
2026-08-04 05:42:36 +0800 CST
view 284
深度拆解Kimi K3 2.8万亿参数MoE开源大模型:KDA混合线性注意力、Stable LatentMoE 896专家架构、百万Token上下文、三大Infra开源(MoonEP/FlashKDA/AgentEnv),附完整代码示例与性能基准对比
Kimi K3
月之暗面
MoE
大模型开源
2.8万亿参数
KDA注意力
FlashKDA
MoonEP
AgentEnv
开源模型
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
5
...
52
下一页