程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
DSpark深度解析:DeepSeek如何用半自回归推测解码将大模型推理速度提升85%
编程
DSpark深度解析:DeepSeek如何用半自回归推测解码将大模型推理速度提升85%
2026-07-05 13:43:59 +0800 CST
view 361
深度解析DeepSeek联合北大发布的DSpark推理加速框架,详解半自回归推测解码、动态推测窗口、置信度调度三大核心创新,在DeepSeek-V4上实现60%-85%推理速度提升。
DeepSeek
DSpark
推测解码
推理加速
大模型优化
半自回归
GPU加速
oMLX 深度实战:当 Apple Silicon 遇见本地大模型推理——从 MTP 加速到分层 KV 缓存的生产级完全指南(2026)
编程
oMLX 深度实战:当 Apple Silicon 遇见本地大模型推理——从 MTP 加速到分层 KV 缓存的生产级完全指南(2026)
2026-06-16 16:46:05 +0800 CST
view 752
深度解析 2026 年 Apple Silicon 本地大模型推理技术栈:从 llama.cpp 量化体系到 oMLX 分层 KV 缓存架构,从 MTP 加速到 CoreAI 全栈指南,包含实测 Benchmark 与生产级部署方案。
Apple Silicon
MLX
llama.cpp
oMLX
MTP
本地大模型
量化
本地推理
Higress深度解析:CNCF Sandbox新晋AI网关——从多模型代理到MCP统一管理的云原生实战指南
编程
Higress深度解析:CNCF Sandbox新晋AI网关——从多模型代理到MCP统一管理的云原生实战指南
2026-07-05 17:43:16 +0800 CST
view 334
深度解析Higress AI网关核心架构:CNCF Sandbox新晋项目,基于Envoy构建的AI原生网关。覆盖多模型统一路由、Token级限流、语义缓存、MCP服务管理、Wasm插件扩展、内容安全防护。含Docker/K8s部署实战、企业落地案例与生产最佳实践。
Higress
AI Gateway
CNCF
云原生
Kubernetes
MCP
大模型
API网关
Envoy
微服务
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
编程
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
2026-07-05 18:13:38 +0800 CST
view 389
深度解析SGLang高性能大模型推理框架:RadixAttention自动前缀缓存、零开销C++调度器、PD分离架构、多LoRA批处理、推测解码。含完整代码实战与vLLM/TensorRT-LLM对比。
SGLang
RadixAttention
LLM
推理引擎
大模型
vLLM
GPU
高并发
AI基础设施
性能优化
SGLang 深度拆解:当 LLM 推理引擎学会「结构化生成」与前缀复用——从 RadixAttention、约束解码到生产级高吞吐部署的工程全貌(2026)
编程
SGLang 深度拆解:当 LLM 推理引擎学会「结构化生成」与前缀复用——从 RadixAttention、约束解码到生产级高吞吐部署的工程全貌(2026)
2026-07-18 02:45:17 +0800 CST
view 140
深度拆解 SGLang:RadixAttention 跨请求前缀复用、约束解码让 JSON 快 10 倍、DP Attention 为 DeepSeek MLA 而生,配 DSL/分布式/量化代码实战与生产调优清单。
SGLang
LLM推理
RadixAttention
约束解码
大模型服务化
高吞吐
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 495
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
OpenAI Codex 深度实战:当 AI 编程从"补全工具"进化为"软件工程师队友",2026 年开发者必须掌握的能力图谱
编程
OpenAI Codex 深度实战:当 AI 编程从"补全工具"进化为"软件工程师队友",2026 年开发者必须掌握的能力图谱
2026-07-11 12:15:35 +0800 CST
view 431
深度拆解 2026 年 OpenAI Codex 的完整能力图谱:从四种入口、Agent Loop 工作原理、端到端工程任务、Multi-Agent 并发、Automations 定时自动化、Skills 技能封装、AGENTS.md 项目级规则,到性能基准对比(Terminal-Bench 82.7%)、Codex vs Claude Code vs Cursor 场景选型指南、生产级 CI/CD 集成实战,以及开发者角色转型建议,配大量可运行代码。
OpenAI Codex
GPT-5.6
AI Agent
大模型编程
Agent编程
Multi-Agent
Terminal-Bench
Vibe Coding
MCP协议
开发工具链
DeepSeek V4 专家模式深度解析:当国产大模型终于学会「分场景思考」
编程
DeepSeek V4 专家模式深度解析:当国产大模型终于学会「分场景思考」
2026-04-10 07:21:56 +0800 CST
view 806
DeepSeek V4专家模式深度解析:双模式架构、LTM长期记忆技术、6710亿参数、场景分层设计,标志着国产大模型从参数比拼转向精细化竞争
DeepSeek
V4
专家模式
国产大模型
AI
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 845
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
大模型推理框架 2026 终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构内核、性能基准到成本防线的生产级全景解析
编程
大模型推理框架 2026 终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构内核、性能基准到成本防线的生产级全景解析
2026-07-11 13:14:24 +0800 CST
view 249
深度拆解2026年四大主流LLM推理框架(vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9)的技术内核,通过统一性能基准测试,量化对比吞吐量、延迟、成本等核心指标,提供不同场景的技术选型建议和实战代码示例。
大模型
推理优化
vLLM
TensorRT
性能调优
成本控制
生产部署
OpenHarness 深度解析:当 1.1 万行 Python 把闭源巨头的 51.2 万行代码「压缩」成开源自由
编程
OpenHarness 深度解析:当 1.1 万行 Python 把闭源巨头的 51.2 万行代码「压缩」成开源自由
2026-04-11 06:59:04 +0800 CST
view 852
港大开源 OpenHarness,用 1.1 万行 Python 实现 Claude Code 98% 核心能力,体积缩小 44 倍,完全开源免费,模型无关。深度解析其 10 大子系统架构、工具系统、记忆系统、安全治理等核心模块。
AI Agent
开源
Python
Claude Code
香港大学
大模型
Ollama 深度实战:当本地大模型部署成为事实标准——从一行命令跑 Llama/Qwen/DeepSeek 到生产级 API 兼容与多语言接入完全指南(2026)
编程
Ollama 深度实战:当本地大模型部署成为事实标准——从一行命令跑 Llama/Qwen/DeepSeek 到生产级 API 兼容与多语言接入完全指南(2026)
2026-06-11 05:47:01 +0800 CST
view 495
本文深入讲解Ollama的原理、实战部署、性能优化,帮助开发者快速掌握本地大模型部署能力
Ollama
本地大模型
AI部署
Go语言
Python
Cursor 3 深度实战:当 IDE 进化为智能体控制台,2026 年开发者必须掌握的编程范式革命
编程
Cursor 3 深度实战:当 IDE 进化为智能体控制台,2026 年开发者必须掌握的编程范式革命
2026-07-11 15:12:24 +0800 CST
view 158
2026年4月Cursor发布Cursor 3,从传统IDE彻底转型为智能体控制台。本文深度剖析其技术架构、多智能体协作机制、生产环境实战案例,以及AI编程范式的未来演进。
Cursor 3
AI编程
智能体
Agent
IDE
大模型
编程范式
Kimi K3 深度拆解:2.8万亿参数开源MoE霸主的工程革命,从注意力机制到Infra全链路解析
编程
Kimi K3 深度拆解:2.8万亿参数开源MoE霸主的工程革命,从注意力机制到Infra全链路解析
2026-07-29 07:45:23 +0800 CST
view 60
深度拆解 Kimi K3:2.8万亿参数开源MoE霸主的完整架构解析,涵盖 KDA 注意力机制、Stable LatentMoE、FlashKDA 高性能算子、MoonEP 通信库、AgentENV 训练沙箱,附代码实战与性能评测。
Kimi K3
MoE架构
KDA
Attention Residuals
FlashKDA
AgentENV
MoonEP
开源大模型
长上下文
代码生成
KTransformers 深度拆解:单张 4090 跑满血 DeepSeek-R1 671B,清华团队如何用 CPU/GPU 异构推理实现 28 倍加速
编程
KTransformers 深度拆解:单张 4090 跑满血 DeepSeek-R1 671B,清华团队如何用 CPU/GPU 异构推理实现 28 倍加速
2026-07-29 09:44:03 +0800 CST
view 52
深度拆解清华开源的 KTransformers:MoE 稀疏性卸载、AMX/Marlin 高性能算子、CUDA Graph 与 YAML 注入框架四层架构,单张 4090 跑满血 DeepSeek-R1 671B,附完整部署实战与性能调优清单。
KTransformers
异构推理
MoE
DeepSeek
AMX
CUDA Graph
大模型部署
性能优化
开源
DeepSeek V4 Flash 深度解析:开源大模型的 Agent 时代新范式
编程
DeepSeek V4 Flash 深度解析:开源大模型的 Agent 时代新范式
2026-06-30 09:16:27 +0800 CST
view 694
深度解析 DeepSeek V4 Flash 的 Ultra-MoE、CSA+HCA 混合注意力、mHC 流形约束、Engram 条件记忆四大架构创新,以及 DSpark 投机解码带来的 60-85% 推理加速。涵盖 SWE-bench 79% 性能分析、API 调用实战与部署方案。
DeepSeek
V4 Flash
MoE
开源大模型
AI Agent
llmfit 深度拆解:一条命令算清你的机器能跑哪个大模型,Rust 硬件探测与适配度评分引擎全解析
编程
llmfit 深度拆解:一条命令算清你的机器能跑哪个大模型,Rust 硬件探测与适配度评分引擎全解析
2026-07-24 07:14:55 +0800 CST
view 113
深度拆解 GitHub Trending 破万星的 llmfit:Rust 硬件探测、权重与 KV cache 显存估算公式、内存带宽速度模型、MoE offload 运行模式,附 100 行 Python 复现 mini-llmfit 与工程集成实战。
llmfit
Rust
本地大模型
Ollama
llama.cpp
量化
KV cache
MoE
硬件选型
开源
TurboQuant + RWKV-6:AI 推理效率双重突破——从内存压缩到线性架构,大模型部署范式的革命性重构
编程
TurboQuant + RWKV-6:AI 推理效率双重突破——从内存压缩到线性架构,大模型部署范式的革命性重构
2026-04-20 10:46:48 +0800 CST
view 619
深度解析 2026 年 AI 推理效率的双重突破:Google TurboQuant 实现 6 倍内存压缩与 8 倍速度提升,RWKV-6 以线性复杂度架构打破 Transformer 的二次方魔咒。从数学原理到代码实战,详解这场效率革命的本质。
TurboQuant
RWKV
AI推理
内存压缩
大模型
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
编程
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
2026-06-30 11:16:18 +0800 CST
view 267
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
编程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
2026-06-30 11:17:15 +0800 CST
view 317
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
Google AI Edge Gallery 深度拆解:当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌(2026)
编程
Google AI Edge Gallery 深度拆解:当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌(2026)
2026-07-18 12:44:38 +0800 CST
view 176
深度拆解 Google AI Edge Gallery 开源项目:LiteRT 推理引擎架构、INT4 量化原理、多模态支持、模型转换实战、企业级落地场景,配完整 Kotlin 代码示例与性能优化指南。
Google AI Edge Gallery
LiteRT
端侧AI
大模型
Android
量化
多模态
离线推理
移动端部署
GenAI
OmniRoute深度拆解:500+模型统一调度、AI编程工具全家桶接入——开源AI网关的工程革命
编程
OmniRoute深度拆解:500+模型统一调度、AI编程工具全家桶接入——开源AI网关的工程革命
2026-07-24 11:12:42 +0800 CST
view 97
深度拆解 GitHub 23k+ Star 的 OmniRoute 开源 AI 网关:290+ Provider、500+ 模型统一调度,RTK+Caveman Token 压缩节省 15-95%,Quota 感知自动回退,Claude Code/Cursor/Codex 全家桶接入实战
OmniRoute
AI网关
大模型
Claude Code
Cursor
Token压缩
智能路由
开源
LCLM 深度实战:当「潜在上下文」颠覆大模型记忆困境——从 8.8 倍速提升到工业级部署的完整指南(2026)
编程
LCLM 深度实战:当「潜在上下文」颠覆大模型记忆困境——从 8.8 倍速提升到工业级部署的完整指南(2026)
2026-06-17 08:57:22 +0800 CST
view 322
深入解析2026年LCLM潜在上下文语言模型,8.8倍速度提升背后的技术原理与工业级部署实战,含完整代码示例与性能对比。
大模型
上下文压缩
KV缓存
LCLM
Transformer
AI优化
推理加速
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 589
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
5
...
28
下一页