程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
编程
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
2026-07-03 08:45:53 +0800 CST
view 335
深度解析 Ollama v0.20 Tool Calling,从协议原理到生产级多工具 Agent 实战,含天气查询、数据库查询、Web搜索三大实战案例与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
编程
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
2026-07-03 08:47:18 +0800 CST
view 349
深度长文:Ollama v0.20 Tool Calling 从协议原理到生产级多工具 Agent 实战,含天气查询、数据库操作、Web搜索三大案例与安全防护策略(2026)。
Ollama
AI Agent
Tool Calling
本地大模型
生产级
vLLM 深度实战:当 LLM 推理遇上 PagedAttention——从 KV 缓存管理到生产级高并发服务的完全指南(2026)
编程
vLLM 深度实战:当 LLM 推理遇上 PagedAttention——从 KV 缓存管理到生产级高并发服务的完全指南(2026)
2026-06-08 22:52:24 +0800 CST
view 813
深度解析vLLM推理框架的核心原理、PagedAttention创新机制、分布式推理架构,以及生产环境部署的最佳实践。
vLLM
PagedAttention
LLM推理
KV缓存
分布式推理
2026 年 vLLM 推理服务实战:PagedAttention 原理、分布式部署与性能调优完全指南
编程
2026 年 vLLM 推理服务实战:PagedAttention 原理、分布式部署与性能调优完全指南
2026-06-08 22:53:03 +0800 CST
view 528
深度解析vLLM推理框架的核心原理、PagedAttention创新机制、分布式推理架构,以及生产环境部署的最佳实践。
vLLM
PagedAttention
LLM推理
KV缓存
分布式推理
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 548
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
编程
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
2026-07-27 03:44:38 +0800 CST
view 227
从显存字节到 CUDA kernel 源码级拆解 vLLM:PagedAttention 分页显存管理、Continuous Batching 连续批处理调度、Prefix Caching 前缀缓存与量化/投机解码实战,附完整代码与生产调参踩坑清单。
vLLM
PagedAttention
大模型推理
KV Cache
显存优化
连续批处理
量化
LLM Serving
LLM 推理优化全景实战:从 PagedAttention 到投机解码——让大模型推理成本下降 70% 的技术革命(2026)
编程
LLM 推理优化全景实战:从 PagedAttention 到投机解码——让大模型推理成本下降 70% 的技术革命(2026)
2026-05-30 15:42:55 +0800 CST
view 653
深度解析 LLM 推理优化的核心技术:PagedAttention 内存管理革命、投机解码加速策略、INT4/FP8 量化技术、MoE 架构优化,从架构原理到代码实战,让大模型推理成本下降 70%。
LLM
推理优化
vLLM
PagedAttention
投机解码
量化
MoE
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 216
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 594
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
编程
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
2026-08-03 10:45:17 +0800 CST
view 421
深度拆解llama.cpp四大核心架构:GGUF模型格式设计、GGML计算引擎、8种多后端抽象层、K-Quant/I-Quant量化技术体系,附完整代码示例与性能基准测试
llama.cpp
GGUF
GGML
量化
端侧推理
LLM
C++
推理引擎
多后端
K-Quant
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
编程
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46 +0800 CST
view 492
深度解析 vLLM 0.5 的 PagedAttention 架构原理,涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术,并通过代码实战和性能对比,帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM
PagedAttention
LLM推理
CUDA
KV Cache
深度学习
AI基础设施
Python
生产部署
性能优化
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
编程
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
2026-08-12 11:14:56 +0800 CST
view 185
深度拆解 2026 年四大主流推理框架 vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 的核心技术、性能对比与选型指南,涵盖 PagedAttention、Continuous Batching、量化优化、分布式推理与生产踩坑清单。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
KV Cache
PagedAttention
推理优化
量化
分布式推理
MarkItDown 深度实战:当文档转换遇见LLM友好格式——从多格式解析到MCP集成的生产级完全指南(2026)
编程
MarkItDown 深度实战:当文档转换遇见LLM友好格式——从多格式解析到MCP集成的生产级完全指南(2026)
2026-06-16 04:47:57 +0800 CST
view 609
深度实战微软开源神器MarkItDown:从多格式文档解析到LLM友好Markdown转换,涵盖RAG系统构建、MCP集成、批量处理优化、生产级API服务部署,10000字完整指南。
MarkItDown
文档转换
Markdown
RAG
LLM
MCP
AI Agent
Python
Headroom 深度实战:当 AI Agent 学会了「精打细算」——从 Token 成本黑洞到上下文压缩的底层原理、从 CCR 可逆存储到六大压缩算法的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 学会了「精打细算」——从 Token 成本黑洞到上下文压缩的底层原理、从 CCR 可逆存储到六大压缩算法的生产级完全指南(2026)
2026-06-21 15:57:54 +0800 CST
view 405
深度解析开源项目 Headroom:AI Agent 的上下文压缩中间层,60-95% Token 节省,CCR 可逆存储,六大压缩算法完全指南。
AI编程
Token压缩
Headroom
上下文管理
LLM推理优化
AI Agent
Headroom深度解析:让AI Agent「吃得少、营养好」的上下文压缩革命
编程
Headroom深度解析:让AI Agent「吃得少、营养好」的上下文压缩革命
2026-07-05 04:43:37 +0800 CST
view 293
Headroom是一个开源的LLM上下文压缩中间件,能减少60-95%的token消耗,同时保持97%+的信息精度。本文深度解析其四层压缩管线、架构设计、使用模式和实战案例。
AI Agent
上下文压缩
Headroom
LLM
Token优化
Mastra 深度解析:2026 年最值得关注的 TypeScript AI Agent 框架——从内核设计到生产级部署的完整实战指南
编程
Mastra 深度解析:2026 年最值得关注的 TypeScript AI Agent 框架——从内核设计到生产级部署的完整实战指南
2026-07-05 08:12:30 +0800 CST
view 569
Mastra 是 2026 年最受关注的 TypeScript AI Agent 框架,YC W25 项目。本文从底层设计、核心模块、代码实战到生产部署,全方位拆解 Mastra 的 Agent、Workflow、Memory、Tool 四大核心系统。
TypeScript
AI Agent
Mastra
LLM
后端开发
Karpathy的LLM Wiki:一种将RAG从「解释器模式」升级为「编译器模式」的革命性架构
编程
Karpathy的LLM Wiki:一种将RAG从「解释器模式」升级为「编译器模式」的革命性架构
2026-04-19 09:13:12 +0800 CST
view 1890
深度解析Karpathy提出的LLM Wiki架构,从算法原理、工程实现、代码实战三个维度讲清楚「编译器模式」如何颠覆传统RAG知识库
LLM Wiki
RAG
知识库
AI Agent
Karpathy
自进化知识库
第二大脑
Headroom 深度实战:当 AI Agent 遇见上下文压缩——从 Token 黑洞到 60-95% 暴降的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 遇见上下文压缩——从 Token 黑洞到 60-95% 暴降的生产级完全指南(2026)
2026-06-16 13:16:31 +0800 CST
view 805
Headroom 是一个 GitHub 上 26000+ Star 的开源项目,作为 AI Agent 的上下文压缩中间层,实测节省 60-95% Token,精度保留率 97%。本文从架构设计、六大压缩算法、CCR 可逆压缩、跨 Agent 记忆等维度深度拆解。
AI Agent
Headroom
Token优化
上下文压缩
LLM
开源项目
长时程Agent革命:2026年AI从"聊天机器人"到"自主工作者"的终极跨越(上)
编程
长时程Agent革命:2026年AI从"聊天机器人"到"自主工作者"的终极跨越(上)
2026-05-16 14:59:36 +0800 CST
view 589
深度剖析2026年长时程Agent技术革命(上篇):从任务分解、长期记忆、自我反思三大核心能力,到LangGraph代码实战。
AI Agent
长时程任务
LLM
AGI
上下文压缩实战:Headroom 如何让 AI Agent 的 Token 成本暴降 95%——从原理深度拆解到生产级接入完全指南(2026)
编程
上下文压缩实战:Headroom 如何让 AI Agent 的 Token 成本暴降 95%——从原理深度拆解到生产级接入完全指南(2026)
2026-06-10 22:16:42 +0800 CST
view 828
Headroom上下文压缩中间层实战:Token节省60-95%,精度保留97%。从原理拆解到LangChain/OpenClaw生产级集成,附完整代码示例。
AI Agent
上下文压缩
Token优化
Headroom
LLM成本
LangChain
RAG
生产级实战
Free Claude Code:让Claude Code接入任意模型,打破Anthropic绑定
编程
Free Claude Code:让Claude Code接入任意模型,打破Anthropic绑定
2026-04-29 12:20:38 +0800 CST
view 1445
Free Claude Code是让Claude Code接入任意模型的代理层项目,打破Anthropic绑定,支持NVIDIA NIM/OpenRouter/DeepSeek/Ollama/LM Studio等后端,适合想降成本或本地部署AI编程环境的人。
Claude Code
AI编程
开源工具
OpenRouter
DeepSeek
Ollama
LM Studio
AI Coding
Anthropic
Oxc 深度拆解:当 Rust 统一 JavaScript 工具链——从原子化 linter 到 VoidZero 全栈生态的工程全貌(2026)
编程
Oxc 深度拆解:当 Rust 统一 JavaScript 工具链——从原子化 linter 到 VoidZero 全栈生态的工程全貌(2026)
2026-07-18 00:44:46 +0800 CST
view 294
深度拆解 Oxc 和 VoidZero:Rust 编写的原子化 JavaScript 工具链。涵盖 oxlint、oxfmt、oxc_transformer、oxc_minifier、Rolldown、Vite+ 全栈生态,配真实性能测试与渐进迁移指南。
Oxc
VoidZero
Rust
JavaScript工具链
前端工程化
Rolldown
Vite
oxlint
oxfmt
SGLang 深度拆解:当 LLM 推理引擎学会「结构化生成」与前缀复用——从 RadixAttention、约束解码到生产级高吞吐部署的工程全貌(2026)
编程
SGLang 深度拆解:当 LLM 推理引擎学会「结构化生成」与前缀复用——从 RadixAttention、约束解码到生产级高吞吐部署的工程全貌(2026)
2026-07-18 02:45:17 +0800 CST
view 281
深度拆解 SGLang:RadixAttention 跨请求前缀复用、约束解码让 JSON 快 10 倍、DP Attention 为 DeepSeek MLA 而生,配 DSL/分布式/量化代码实战与生产调优清单。
SGLang
LLM推理
RadixAttention
约束解码
大模型服务化
高吞吐
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 638
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
47
48
49
50
51
...
133
下一页