程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
编程
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
2026-07-07 16:15:25 +0800 CST
view 126
深入解析2026年大模型推理中的KV Cache优化技术栈:从PagedAttention虚拟分页管理、Prefix Caching缓存复用、Speculative Decoding并行验证,到INT8量化与Continuous Batching生产实践,配合代码示例与性能对比,助你系统性掌握LLM推理优化的核心要领。
LLM
KV Cache
PagedAttention
Prefix Caching
vLLM
推理优化
Speculative Decoding
Ollama v0.20 Tool Calling 深度解析:让本地大模型真正「动起手来」——从协议原理到生产级多工具 Agent 系统实战
编程
Ollama v0.20 Tool Calling 深度解析:让本地大模型真正「动起手来」——从协议原理到生产级多工具 Agent 系统实战
2026-07-03 08:43:53 +0800 CST
view 267
深度解析 Ollama v0.20 的 Tool Calling 能力:从 JSON Schema 协议原理、HTTP API 调用循环,到生产级多工具 Agent 系统的完整实战(天气查询/数据库查询/Web搜索),配套 LangChain4j 集成方案与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
LangChain4j
生产级实战
Ollama v0.20 Tool Calling 深度解析:本地 AI Agent 的最后一公里——JSON Schema 协议 × 生产级多工具实战 × 安全防护全指南
编程
Ollama v0.20 Tool Calling 深度解析:本地 AI Agent 的最后一公里——JSON Schema 协议 × 生产级多工具实战 × 安全防护全指南
2026-07-03 08:44:52 +0800 CST
view 209
深度解析 Ollama v0.20 的 Tool Calling 能力,从 JSON Schema 协议原理到生产级多工具 Agent 实战,含安全防护与性能基准测试。
Ollama
AI Agent
Tool Calling
本地大模型
LangChain4j
LLM 推理服务引擎深度拆解:从 PagedAttention 到 PD 分离,把 GPU 榨干的七层优化栈
编程
LLM 推理服务引擎深度拆解:从 PagedAttention 到 PD 分离,把 GPU 榨干的七层优化栈
2026-07-30 21:49:19 +0800 CST
view 72
深度拆解 LLM 推理服务的七层优化栈:PagedAttention 分页显存与写时复制、连续批处理消灭队头阻塞、前缀缓存命中率实操、Chunked Prefill 与 PD 分离决策、KV Cache 分层复用的拉取/重算临界点、投机解码加速比数学与失效场景、量化与并行选型。附大量可运行代码、压测骨架、调优顺序与七个常见误区。
LLM推理
vLLM
SGLang
PagedAttention
PD分离
KV Cache
前缀缓存
投机解码
Chunked Prefill
性能优化
万字深度解析 Nano-vLLM:当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南(2026)
编程
万字深度解析 Nano-vLLM:当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南(2026)
2026-07-01 14:44:55 +0800 CST
view 259
Nano-vLLM:用约1200行Python代码实现的轻量级vLLM替代方案。深度解析KV Cache管理、GQA注意力、RoPE位置编码、Continuous Batching等核心技术,Benchmark性能超越vLLM 5.3%。适合学习大模型推理原理和内网轻量级部署。
Nano-vLLM
大模型推理
LLM
Tensor Parallelism
KV Cache
Continuous Batching
Python
PyTorch
Qwen2
开源项目
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 319
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 43
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
TypeScript 7.0 RC 深度解析:微软用 Go 重写编译器,十年自举信仰一夜崩塌,10倍性能飞跃背后的血腥革命
编程
TypeScript 7.0 RC 深度解析:微软用 Go 重写编译器,十年自举信仰一夜崩塌,10倍性能飞跃背后的血腥革命
2026-06-29 15:46:09 +0800 CST
view 381
2026年6月微软发布TypeScript 7.0 RC,用Go语言重写了整个编译器,性能提升10倍。本文深度解析Go选型逻辑、并行检查架构、Breaking Changes与迁移实战。
TypeScript
TypeScript 7
Go
Golang
编译器
性能优化
前端工程化
Breaking Changes
Cindy AI Agent 深度拆解:双 Harness 融合架构如何重新定义 AI 编程助手
编程
Cindy AI Agent 深度拆解:双 Harness 融合架构如何重新定义 AI 编程助手
2026-07-28 16:19:47 +0800 CST
view 162
深入剖析心动公司发布的开源AI Agent产品Cindy:双Harness融合架构原理、上下文连续性机制、多Agent协作模式、安全信任设计,以及它在整个2026年AI Agent生态中的独特定位。
Cindy
AI Agent
双Harness
Claude Code
Codex
Harness Engineering
多Agent协作
Context连续性
Model Routing
MCP协议
OpenClaw
2026技术趋势
开源AI
Scrapling 深度实战:从自适应解析到生产级爬虫架构——现代 Web 数据采集的工程化完全指南(2026)
编程
Scrapling 深度实战:从自适应解析到生产级爬虫架构——现代 Web 数据采集的工程化完全指南(2026)
2026-06-03 18:18:58 +0800 CST
view 473
Scrapling 52K Star 自适应爬虫框架深度实战
Scrapling
Web Scraping
Python
Adaptive Scraping
爬虫
MCP
AI Agent
Superpowers 深度实战:让 AI 编程从「随意发挥」到「工程化落地」——204K Star 的 AI Agent 软件开发方法论完全指南(2026)
编程
Superpowers 深度实战:让 AI 编程从「随意发挥」到「工程化落地」——204K Star 的 AI Agent 软件开发方法论完全指南(2026)
2026-06-26 05:13:28 +0800 CST
view 256
Superpowers 是 GitHub 204K Star 的 AI 编程 Agent 软件开发方法论框架,通过可组合的技能系统让 AI 像资深工程师一样先思考、再规划、后编码、必验证。
Superpowers
AI编程
Claude Code
软件开发方法论
Agentic Engineering
Vibe Coding
TDD
代码评审
Spring Boot 4.1.0 深度实战:50+ 依赖升级背后的架构演进与性能优化完全指南
编程
Spring Boot 4.1.0 深度实战:50+ 依赖升级背后的架构演进与性能优化完全指南
2026-06-26 16:14:20 +0800 CST
view 469
2026年6月Spring Boot 4.1.0深度实战指南:50+依赖升级、WritableJson内存优化、JWT安全加固、7项安全修复、迁移实战,万字长文带你掌握4.x系列的稳定之锚。
Spring Boot
Spring Framework
Hibernate
Spring Security
Java
微服务
性能优化
GraalVM
Caveman 深度实战:一句「穴居人」指令省 65% Token 背后的 AI Agent 输出经济学
编程
Caveman 深度实战:一句「穴居人」指令省 65% Token 背后的 AI Agent 输出经济学
2026-07-14 16:42:10 +0800 CST
view 226
深度拆解 Caveman 开源项目:从技术架构、压缩等级、基准测试到生态版图,一次把「让 AI 输出省 65% Token」的穴居人哲学讲透,附完整代码实战与避坑指南。
Caveman
AI Agent
Token优化
开源
Prompt Engineering
GitHub Trending
Claude Code
Kubernetes 1.36 深度实战:用户命名空间 GA、可变准入策略与 Ingress NGINX 退役——2026 年云原生生产级升级完全指南
编程
Kubernetes 1.36 深度实战:用户命名空间 GA、可变准入策略与 Ingress NGINX 退役——2026 年云原生生产级升级完全指南
2026-06-27 14:12:40 +0800 CST
view 239
Kubernetes 1.36(代号Haru)深度实战指南:详解用户命名空间GA、可变准入策略GA、Ingress NGINX退役三大核心变更,附带完整代码示例、生产级升级流程和性能优化建议。
Kubernetes 1.36
User Namespaces
Mutating Admission Policies
Ingress NGINX
云原生
容器安全
K8s升级
生产级部署
Envoy Gateway
Security Context
llmfit 深度拆解:一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖
编程
llmfit 深度拆解:一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖
2026-07-24 18:44:04 +0800 CST
view 139
深度拆解 GitHub Trending 开源工具 llmfit:四维评分系统、量化自动试探、MoE 精算、带宽速度模型、Plan 模式与 bench 众包校准,从第一性原理讲透本地大模型的硬件适配方法论。
llmfit
本地大模型
LLM
Rust
量化
Ollama
llama.cpp
Apple Silicon
硬件适配
开源
caveman 深度解析:当 Claude Code 用「穴居人语言」砍掉 75% Token 消耗,AI 编程正式进入「极简主义」时代
编程
caveman 深度解析:当 Claude Code 用「穴居人语言」砍掉 75% Token 消耗,AI 编程正式进入「极简主义」时代
2026-04-10 00:14:55 +0800 CST
view 1664
深度解析 caveman 开源项目:一个让 Claude Code 用「穴居人语言」说话的 skill,砍掉 75% Token 消耗同时保持 100% 技术准确率。
Claude Code
Token优化
AI编程
Prompt Engineering
LLM效率
开源工具
程序员工具
代码审查
Headroom深度解析:AI Agent上下文压缩层的架构革命——Token成本暴降95%与可逆压缩的完整实战指南
编程
Headroom深度解析:AI Agent上下文压缩层的架构革命——Token成本暴降95%与可逆压缩的完整实战指南
2026-07-05 21:12:46 +0800 CST
view 386
深度解析Headroom上下文压缩中间层:六大压缩算法(SmartCrusher/CodeCompressor/Kompress-base/ImageCompressor/IntelligentContext/CacheAligner)、CCR可逆压缩、跨Agent记忆共享、KV Cache命中率优化。含完整代码实战、基准测试对比、竞品分析与生产部署指南。
Headroom
AI Agent
上下文压缩
Token优化
CCR
可逆压缩
Context Engineering
KV Cache
LLM
Python
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 601
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
Tokio 深度实战:Rust 异步运行时的底层架构、调度引擎与生产级性能调优完全指南(2026)
编程
Tokio 深度实战:Rust 异步运行时的底层架构、调度引擎与生产级性能调优完全指南(2026)
2026-06-04 06:13:07 +0800 CST
view 524
深入解析Tokio异步运行时的三层架构、Work-Stealing调度引擎、LIFO Slot优化、io_uring集成路线、Task内存模型与生产级性能调优实战
Rust
Tokio
异步运行时
Work-Stealing
io_uring
epoll
Future
Pin
性能调优
TradingAgents 深度解析:63K Star 的多智能体金融交易框架——从架构设计到 LLM 协作的全链路技术实战
编程
TradingAgents 深度解析:63K Star 的多智能体金融交易框架——从架构设计到 LLM 协作的全链路技术实战
2026-05-04 07:54:03 +0800 CST
view 533
深度解析 63K Star 的 TradingAgents 多智能体金融交易框架,从架构设计、LLM 协作机制、多空辩论到实战部署的全链路技术实战
TradingAgents
多智能体
LLM
量化交易
LangGraph
金融科技
Python
ReAct 框架深度解析:AI Agent 的「思考-行动-观察」循环,从字符串解析到原生 Tool Calling 的演进
编程
ReAct 框架深度解析:AI Agent 的「思考-行动-观察」循环,从字符串解析到原生 Tool Calling 的演进
2026-05-14 01:14:23 +0800 CST
view 660
ReAct框架是AI Agent的核心架构范式,通过Thought-Action-Observation循环实现智能推理与行动。本文深度解析其从字符串解析到原生Tool Calling的演进历程、LangGraph状态机架构、代码实战及最佳实践。
ReAct,AI Agent,TAO循环,Function Calling,LangGraph,大语言模型,深度学习,Python,机器学习,智能体
万字深度解析 Understand-Anything:当代码库遇见知识图谱革命——从Tree-sitter解析到LLM语义理解、从7个专业Agent到15平台一键集成的完整技术指南(2026)
编程
万字深度解析 Understand-Anything:当代码库遇见知识图谱革命——从Tree-sitter解析到LLM语义理解、从7个专业Agent到15平台一键集成的完整技术指南(2026)
2026-07-03 00:44:41 +0800 CST
view 271
深度解析Understand-Anything代码知识图谱工具:Tree-sitter+LLM双引擎、7专业Agent并行流水线、三种知识图谱视图、15平台集成,含完整实战指南
Understand-Anything
Code Knowledge Graph
Tree-sitter
LLM
Agent
Code Analysis
Knowledge Graph
AI Coding
Andrej Karpathy Skills 深度实战:用CLAUDE.md让AI遵守工程纪律告别四大编程陷阱
编程
Andrej Karpathy Skills 深度实战:用CLAUDE.md让AI遵守工程纪律告别四大编程陷阱
2026-06-28 03:45:41 +0800 CST
view 364
深度解析 Andrej Karpathy Skills 如何通过一份 CLAUDE.md 文件让 Claude Code 等 AI 编程助手遵守软件工程纪律,告别过度复杂化、跳过测试、乱改代码等四大编程陷阱。
Andrej Karpathy Skills
CLAUDE.md
AI编程
软件工程
Prompt Engineering
60行配置文件斩获5万星:Karpathy如何用四条原则终结AI编程的混乱时代
编程
60行配置文件斩获5万星:Karpathy如何用四条原则终结AI编程的混乱时代
2026-04-18 14:44:57 +0800 CST
view 1201
andrej-karpathy-skills项目60行CLAUDE.md文件斩获54k星标,四条原则Think Before Coding、Simplicity First、Surgical Changes、Goal-Driven Execution如何终结AI编程的混乱时代
AI编程
Claude Code
Prompt Engineering
LLM
软件工程
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
22
23
24
25
26
...
62
下一页