程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
OpenWorker 深度解析:吴恩达的桌面 AI 智能体,从 aisuite 到生产级 Agent 架构的完整演进
编程
OpenWorker 深度解析:吴恩达的桌面 AI 智能体,从 aisuite 到生产级 Agent 架构的完整演进
2026-07-26 12:13:55
view 528
深度解析吴恩达开源的桌面AI智能体OpenWorker:aisuite统一模型接口、Agent运行时架构、权限沙箱、记忆系统、任务规划、ReAct执行循环、工具系统、多模型策略、成本优化与实战应用。
OpenWorker
AI Agent
aisuite
桌面智能体
吴恩达
Andrew Ng
多模型
Ollama
本地LLM
Agent架构
5ire:MCP原生的跨平台桌面AI助手,支持本地知识库+多模型自由切换
编程
5ire:MCP原生的跨平台桌面AI助手,支持本地知识库+多模型自由切换
2026-04-16 19:04:26
view 862
5ire是一款开源跨平台桌面AI助手(1.5K Stars),原生支持MCP协议,可接入多模型并构建本地知识库,支持docx/pdf/excel等文档向量化,适合隐私敏感场景。
AI
MCP
桌面助手
开源
知识库
RAG
多模型
GuaDa AI:功能完备的AI Agent系统,支持MCP、Skills、多平台机器人
案例
GuaDa AI:功能完备的AI Agent系统,支持MCP、Skills、多平台机器人
2026-05-07 22:18:24
view 813
GuaDa AI开源项目:功能完备的AI Agent系统,支持ReAct Agent、RAG知识库、MCP协议、Skills技能框架热插拔、多平台机器人(QQ/飞书/企业微信)。NestJS+Vue 3全栈TypeScript,SQLite+sqlite-vec轻量级部署
AI Agent
ReAct
MCP
Skills
RAG
多模型
NestJS
Vue 3
开源
OpenSquilla 0.4.0 深度解析:AI 编码自我验证革命——从红绿回归证据链到隔离施工、从 Token 高效路由到生产级 Coding Agent 的完整技术指南(2026)
编程
OpenSquilla 0.4.0 深度解析:AI 编码自我验证革命——从红绿回归证据链到隔离施工、从 Token 高效路由到生产级 Coding Agent 的完整技术指南(2026)
2026-07-04 02:13:02
view 486
2026年6月30日OpenSquilla 0.4.0发布,核心突破是把「自我验证」塞进AI编码Agent。深度解析红绿回归证据链、隔离施工机制、Token高效微内核架构、多模型路由,含完整实战代码与生产部署指南。
OpenSquilla
AI编码
自我验证
红绿回归
Agent
TDD
微内核
多模型路由
持久化记忆
沙箱隔离
OpenRouter Fusion 深度实战:当「群殴战术」打破 AI 智商天花板——从多模型并行分发到裁判聚合引擎的全栈架构解析
编程
OpenRouter Fusion 深度实战:当「群殴战术」打破 AI 智商天花板——从多模型并行分发到裁判聚合引擎的全栈架构解析
2026-06-20 14:56:09
view 583
深度解析 OpenRouter Fusion 的多模型并行分发与裁判聚合引擎架构,从原理、代码实战、性能基准到生产落地,全面拆解"群殴战术"如何打破 AI 智商天花板。
AI
OpenRouter
Fusion
多模型
MCP
Agent
大模型
架构设计
Open Design:31个Skills+72套设计系统,Claude Design的开源替代品
案例
Open Design:31个Skills+72套设计系统,Claude Design的开源替代品
2026-05-09 06:34:08
view 1431
Open Design开源项目:Claude Design的开源替代品,31个Skills+72套设计系统,支持16种AI CLI工具,本地运行Apache-2.0协议,多模型支持,内置图片视频生成,MCP集成
AI设计
Claude Design替代
开源设计工具
本地运行
多模型
设计系统
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
编程
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
2026-07-23 08:13:30
view 439
2026年四大主流大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从核心技术优化、吞吐量延迟、算力成本、部署适配性四大维度开展极致测评,为企业技术选型提供精准参考。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
PagedAttention
FlashAttention
量化推理
GPU推理优化
OpenVINO 2026.3 深度拆解:从推理工具到「让大模型在 16GB 内存跑起来」的工程实践完全指南
编程
OpenVINO 2026.3 深度拆解:从推理工具到「让大模型在 16GB 内存跑起来」的工程实践完全指南
2026-08-13 08:43:23
view 205
深度拆解OpenVINO 2026.3:磁盘卸载让300亿MoE模型在16GB内存运行、懒加载权重降低内存峰值、HuggingFace Transformers 5.5兼容、GenAI新流水线、EAGLE-3推测解码扩展,配完整Python/C++代码示例与15条生产踩坑清单。
OpenVINO
AI推理
Intel
深度学习
模型部署
CPU推理
GPU推理
MoE
磁盘卸载
大模型
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58
view 235
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49
view 366
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
编程
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
2026-08-12 11:14:56
view 204
深度拆解 2026 年四大主流推理框架 vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 的核心技术、性能对比与选型指南,涵盖 PagedAttention、Continuous Batching、量化优化、分布式推理与生产踩坑清单。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
KV Cache
PagedAttention
推理优化
量化
分布式推理
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56
view 622
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
Cloudflare 统一推理层深度实战:当一个API连通12家供应商70+模型——从AI Gateway到边缘智能体、从自动故障转移到多模态推理的生产级完全指南(2026)
编程
Cloudflare 统一推理层深度实战:当一个API连通12家供应商70+模型——从AI Gateway到边缘智能体、从自动故障转移到多模态推理的生产级完全指南(2026)
2026-06-22 04:23:24
view 550
2026年4月Cloudflare发布统一推理层,一个API连通12家供应商70+模型。本文深度解析AI Gateway架构、边缘推理优化、多模态支持、智能体集成,附带完整代码示例,打造生产级AI应用。
Cloudflare
AI推理
边缘计算
AI Gateway
统一推理层
AI基础设施
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
编程
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
2026-06-29 21:14:35
view 419
深度解析OpenAI首款自研AI推理芯片Jalapeño:9个月流片、推理成本降低50%、每瓦性能超越英伟达GPU。从架构设计、内存优化、数据流优化到产业链合作,全方位解读这款芯片如何重塑AI推理市场格局。
OpenAI
Jalapeño
AI芯片
ASIC
推理芯片
英伟达
GPU
博通
Broadcom
LLM推理
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22
view 890
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
DiffusionGemma 深度实战:当 Google 用「扩散」颠覆自回归——从离散文本扩散原理到 MoE 架构、本地推理加速与生产级部署的完全指南(2026)
编程
DiffusionGemma 深度实战:当 Google 用「扩散」颠覆自回归——从离散文本扩散原理到 MoE 架构、本地推理加速与生产级部署的完全指南(2026)
2026-06-16 18:52:52
view 623
Google DeepMind联合NVIDIA发布DiffusionGemma——基于离散文本扩散的实验性开源模型。本文深入解读26B MoE架构、双向注意力机制、本地推理4倍加速原理,附完整代码示例和部署实战。
Google
DiffusionGemma
扩散模型
MoE
开源LLM
本地推理
AI推理加速
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29
view 212
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
编程
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
2026-08-04 22:46:33
view 266
深度拆解Redis创始人antirez打造的DwarfStar 4本地推理引擎:专用MoE推理栈、非对称2-Bit量化、磁盘KV缓存、SSD流式加载、多机流水线并行,在128GB MacBook上跑出26 tok/s的284B模型推理
DwarfStar
Redis
antirez
DeepSeek
MoE
本地推理
LLM
推理引擎
2-Bit量化
KV缓存
Apple Metal
CUDA
开源
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
编程
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
2026-05-23 11:16:44
view 704
深度解析UC San Diego Z Lab提出的DFlash(Block Diffusion for Flash Speculative Decoding),详解块扩散草稿模型如何突破自回归瓶颈,在Qwen3-8B上实现6倍无损加速的架构原理、训练方法与生产级实战代码
LLM推理,投机解码,块扩散模型,大模型加速,DFlash,Speculative Decoding,UC San Diego,PyTorch,深度学习,AI推理优化
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
编程
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
2026-07-24 06:14:45
view 381
深度对比vLLM与SGLang两大LLM推理引擎:PagedAttention vs RadixAttention,Continuous Batching原理,吞吐与延迟实战选型指南
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
Continuous Batching
GPU优化
推理引擎
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
编程
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
2026-07-18 13:17:37
view 251
深度拆解 vLLM 0.5 的 PagedAttention 核心原理、连续批处理架构、MoE 推理优化、分布式部署策略,以及 2026 年四大推理框架生产级性能横评。
vLLM
PagedAttention
LLM推理
ContinuousBatching
MoE
FusedMoE
量化
分布式推理
DSpark深度解析:DeepSeek联合北大开源的推测解码框架——半自回归生成+置信度调度如何让大模型推理速度飙升85%
编程
DSpark深度解析:DeepSeek联合北大开源的推测解码框架——半自回归生成+置信度调度如何让大模型推理速度飙升85%
2026-07-06 07:43:51
view 594
深度解析DeepSeek联合北京大学开源的DSpark推测解码推理加速框架:半自回归生成架构解决后缀衰减、置信度调度验证机制避免算力浪费、单用户生成速度提升60%-85%、吞吐量最高暴涨661%。含完整代码实战与性能基准测试。
DSpark
DeepSeek
推测解码
Speculative Decoding
推理加速
半自回归
置信度调度
大模型推理
DwarfStar 4 深度拆解:当 Redis 之父决定「给 284B 大模型造一个专属引擎」——从 Metal GPU 到磁盘 KV 缓存,一个 10K Star 的极简推理栈如何用 One Model One Engine 哲学重新定义本地 AI 推理的终极形态
编程
DwarfStar 4 深度拆解:当 Redis 之父决定「给 284B 大模型造一个专属引擎」——从 Metal GPU 到磁盘 KV 缓存,一个 10K Star 的极简推理栈如何用 One Model One Engine 哲学重新定义本地 AI 推理的终极形态
2026-08-05 12:17:17
view 241
深度拆解Redis创始人antirez打造的DeepSeek V4 Flash专用本地推理引擎DwarfStar 4:One Model One Engine哲学、非对称量化策略、磁盘KV缓存、双协议兼容层,附完整架构分析与性能基准
DwarfStar
DeepSeek
本地推理
MoE
Metal
Apple Silicon
antirez
Redis
AI推理
开源
ds4 深度解析:当 Redis 之父用 C 语言手写 AI 推理引擎——从「窄而深」哲学到把 284B 模型塞进一台 MacBook 的技术全拆解
编程
ds4 深度解析:当 Redis 之父用 C 语言手写 AI 推理引擎——从「窄而深」哲学到把 284B 模型塞进一台 MacBook 的技术全拆解
2026-06-12 18:19:08
view 904
深度解析 Redis 之父 antirez 最新开源项目 ds4(DwarfStar):一个纯 C 语言手写的 DeepSeek V4 Flash 本地推理引擎。从「窄而深」的工程哲学、非对称 2-bit 量化、磁盘 KV 缓存、Metal/CUDA 内核优化到实际部署,完整拆解这个 13K+ Star 项目的技术内幕。
AI推理引擎
DeepSeek
本地推理
系统编程
开源项目
C语言
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
上一页
1
2
3
4
5
6
...
14
下一页