程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Spring AI 2.0 深度拆解:当 Java 企业级框架学会「AI 原生思维」——ChatClient、MCP 工具调用与 Advisors 可组合架构
编程
Spring AI 2.0 深度拆解:当 Java 企业级框架学会「AI 原生思维」——ChatClient、MCP 工具调用与 Advisors 可组合架构
2026-07-17 10:44:29 +0800 CST
view 318
深度拆解 Spring AI 2.0 GA:ChatClient Fluent API、Advisors 可组合拦截器链、@Tool 声明式工具调用、MCP 协议支持、RAG ETL Pipeline,配完整生产级代码实战。
Spring AI
Java
AI
Spring Boot
LLM
MCP
RAG
AI Agent
Tool Calling
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
编程
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
2026-07-23 11:45:35 +0800 CST
view 244
深度解析纯 Rust WebGPU 推理引擎 shimmy v2.3.0:GGUF 原生加载、OpenAI API 兼容、KV Cache 量化、Flash Attention 等效实现,配 Tauri 桌面应用集成实战与性能基准测试。
shimmy
WebGPU
Rust
GGUF
LLM
llama.cpp
推理引擎
WebAssembly
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
编程
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
2026-06-29 17:16:04 +0800 CST
view 673
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 407
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
AI 编程助手瘫痪了吗?Karpathy Skills 与 CLAUDE.md 如何用数学约束驯服 LLM 的混乱天性——从四大失败模式到生产级行为规则的完全指南
编程
AI 编程助手瘫痪了吗?Karpathy Skills 与 CLAUDE.md 如何用数学约束驯服 LLM 的混乱天性——从四大失败模式到生产级行为规则的完全指南
2026-05-23 00:46:41 +0800 CST
view 650
深度剖析 AI 编码代理的四大核心失败模式(静默假设、过度工程、范围蔓延、缺乏验证),介绍 Karpathy Skills 项目如何用行为约束体系替代模糊提示,以及如何使用 CLAUDE.md 构建可维护的 AI 辅助开发流程。
AI编程
LLM
Karpathy Skills
CLAUDE.md
行为约束
提示工程
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
编程
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
2026-07-05 18:13:38 +0800 CST
view 588
深度解析SGLang高性能大模型推理框架:RadixAttention自动前缀缓存、零开销C++调度器、PD分离架构、多LoRA批处理、推测解码。含完整代码实战与vLLM/TensorRT-LLM对比。
SGLang
RadixAttention
LLM
推理引擎
大模型
vLLM
GPU
高并发
AI基础设施
性能优化
MCP 2026 深度解析:AI推理性能瓶颈诊断的12个隐性耗时陷阱——从TensorRT-LLM到vLLM再到Triton的全引擎实战
编程
MCP 2026 深度解析:AI推理性能瓶颈诊断的12个隐性耗时陷阱——从TensorRT-LLM到vLLM再到Triton的全引擎实战
2026-04-30 14:21:13 +0800 CST
view 729
深度解析MCP 2026基准测试框架,拆解TensorRT-LLM、vLLM、Triton三大推理引擎的12个隐性耗时陷阱,提供可落地的诊断方法与修复路径。
AI推理
性能优化
TensorRT-LLM
vLLM
Triton
MCP2026
GPU优化
2026 大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构原理到生产级部署的完全指南
编程
2026 大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构原理到生产级部署的完全指南
2026-06-16 23:24:43 +0800 CST
view 369
深度对比四大主流LLM推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从PagedAttention架构原理、FlashAttention优化、量化支持到生产级部署实战,包含统一环境下的性能测试数据与代码示例,帮助你做出最优选型决策。
LLM
推理框架
vLLM
TensorRT
DeepSpeed
性能优化
AI
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
编程
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
2026-07-24 06:14:45 +0800 CST
view 363
深度对比vLLM与SGLang两大LLM推理引擎:PagedAttention vs RadixAttention,Continuous Batching原理,吞吐与延迟实战选型指南
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
Continuous Batching
GPU优化
推理引擎
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
编程
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
2026-06-30 11:16:18 +0800 CST
view 392
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
编程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
2026-06-30 11:17:15 +0800 CST
view 479
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
Meta Muse Glimmer 深度拆解:300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南(2026)
编程
Meta Muse Glimmer 深度拆解:300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南(2026)
2026-08-13 18:49:00 +0800 CST
view 118
深度拆解Meta 2026年8月发布的Muse Glimmer:300亿参数开放权重Dense模型,4bit量化可在单张RTX 3090/4090上本地运行。涵盖架构设计、知识蒸馏、量化原理、本地部署实战与性能基准测试。
Muse Glimmer
端侧AI
知识蒸馏
4bit量化
Agent本地部署
300亿参数
Meta
Apache 2.0
llama.cpp
Ollama
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
编程
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
2026-07-18 13:17:37 +0800 CST
view 244
深度拆解 vLLM 0.5 的 PagedAttention 核心原理、连续批处理架构、MoE 推理优化、分布式部署策略,以及 2026 年四大推理框架生产级性能横评。
vLLM
PagedAttention
LLM推理
ContinuousBatching
MoE
FusedMoE
量化
分布式推理
Muse Glimmer 端侧Agent革命:300亿参数模型如何在消费级GPU上跑出生产级性能(2026实战)
编程
Muse Glimmer 端侧Agent革命:300亿参数模型如何在消费级GPU上跑出生产级性能(2026实战)
2026-08-13 18:50:11 +0800 CST
view 144
深度拆解Meta 2026年8月发布的Muse Glimmer:300亿参数开放权重Dense模型,4bit量化可在单张RTX 3090/4090上本地运行。涵盖架构设计、知识蒸馏、量化原理、本地部署实战与性能基准测试。
Muse Glimmer
端侧AI
知识蒸馏
4bit量化
Agent本地部署
300亿参数
Meta
Apache 2.0
llama.cpp
Ollama
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 2331
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
编程
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
2026-05-17 10:21:56 +0800 CST
view 740
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
编程
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
2026-05-17 10:22:13 +0800 CST
view 782
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
vLLM vs SGLang 深度拆解:当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南(2026)
编程
vLLM vs SGLang 深度拆解:当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南(2026)
2026-08-14 07:12:45 +0800 CST
view 104
深度拆解 vLLM 与 SGLang 两大推理框架:从 PagedAttention 分页内存管理到 RadixAttention 前缀树复用,从 Continuous Batching 到压缩有限状态机,配完整性能对比数据与 15 条生产踩坑清单。
vLLM
SGLang
大模型推理
PagedAttention
RadixAttention
KV Cache
高性能计算
LLM部署
vLLM vs SGLang 深度拆解:从 PagedAttention 到 RadixAttention 的架构革命(2026实战指南)
编程
vLLM vs SGLang 深度拆解:从 PagedAttention 到 RadixAttention 的架构革命(2026实战指南)
2026-08-14 07:13:18 +0800 CST
view 237
深度拆解 vLLM 与 SGLang 两大推理框架:从 PagedAttention 分页内存管理到 RadixAttention 前缀树复用,从 Continuous Batching 到压缩有限状态机,配完整性能对比数据与 15 条生产踩坑清单。
vLLM
SGLang
大模型推理
PagedAttention
RadixAttention
KV Cache
高性能计算
LLM部署
2026大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——谁才是生产级部署的真正王者?
编程
2026大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——谁才是生产级部署的真正王者?
2026-06-23 08:22:26 +0800 CST
view 651
深度对比2026年四大主流大模型推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9,从核心架构、性能压测、成本分析到代码实战的完全指南。
vLLM
TensorRT-LLM
大模型推理
性能优化
DeepSpeed
TGI
Muse Glimmer 30B 深度拆解:Meta「真开源」旗舰Agent模型如何用一块显卡颠覆本地AI工作流
编程
Muse Glimmer 30B 深度拆解:Meta「真开源」旗舰Agent模型如何用一块显卡颠覆本地AI工作流
2026-08-14 09:44:53 +0800 CST
view 225
深度拆解Meta开源的Muse Glimmer 30B端侧Agent模型:从稠密Transformer架构、1.8B ViT-G/14视觉编码器,到4-bit GGUF量化、DFlash推测性解码,再到Ollama一键部署、配完整代码实战与15条生产踩坑清单
Muse Glimmer
Meta
Agent模型
本地AI
开源LLM
量化部署
Function Calling
多模态
万字深度解析 Andrej Karpathy Skills:当 AI 编程遇见行为约束——从 CLAUDE.md 四原则到生产级 AI 编码工作流的工程化实践(2026)
编程
万字深度解析 Andrej Karpathy Skills:当 AI 编程遇见行为约束——从 CLAUDE.md 四原则到生产级 AI 编码工作流的工程化实践(2026)
2026-07-01 05:13:58 +0800 CST
view 372
2026年Andrej Karpathy Skills在GitHub狂揽11.7万Star。深度解析CLAUDE.md四核心原则:先思考再编码、简洁性优先、精准修改、目标驱动执行,以及生产级AI编程工作流工程化实践。
Andrej Karpathy Skills
CLAUDE.md
AI编程
Vibe Coding
LLM
行为约束
AI Agent
Cursor
Nushell 0.111 深度解析:用 Rust 重写 Shell,让命令行终于有了数据类型
编程
Nushell 0.111 深度解析:用 Rust 重写 Shell,让命令行终于有了数据类型
2026-05-12 01:44:53 +0800 CST
view 788
深度解析Nushell 0.111核心架构:结构化数据管道替代POSIX字符串流、IR优化器实现管道融合与谓词下推带来3-10倍性能提升、栈式虚拟机执行器保证类型安全与即时错误反馈,附DevOps实战、插件开发与渐进迁移指南
Nushell,Shell,Rust,命令行,结构化数据,数据管道,终端工具,DevOps,CLI,编程工具
10天破3800星!Claude Code Skill一句话生成7种风格技术图表
编程
10天破3800星!Claude Code Skill一句话生成7种风格技术图表
2026-04-21 11:04:25 +0800 CST
view 839
fireworks-tech-graph:10天3800星的Claude Code Skill,用自然语言生成7种风格的技术图表,支持RAG、Mem0、多Agent等架构图,Mermaid画不出来的它能补位
Claude Code
Skill
AI画图
图表生成
Claude Code Skills
技术图
架构图
Mermaid
开源
GitHub
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
26
27
28
29
30
...
53
下一页