程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 302
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
DeepTutor 深度解析:当 AI 教育从「问答工具」进化为「原生智能体导师」
编程
DeepTutor 深度解析:当 AI 教育从「问答工具」进化为「原生智能体导师」
2026-04-10 05:13:09 +0800 CST
view 1720
香港大学数据科学研究所开源的 DeepTutor v1.0.0,标志教育AI进入Agent-Native时代:持久记忆、主动教学、多实例TutorBot、CLI原生,从问答工具进化为智能体导师生态系统。
AI
教育
Agent
DeepTutor
HKUDS
开源
英伟达 CUDA-Oxide 0.1 深度解析:用 Rust 编写 GPU 内核的破冰之旅
编程
英伟达 CUDA-Oxide 0.1 深度解析:用 Rust 编写 GPU 内核的破冰之旅
2026-05-10 08:20:42 +0800 CST
view 854
英伟达发布实验性Rust-to-CUDA编译器CUDA-Oxide 0.1,支持用Rust编写SIMT GPU内核并输出标准PTX中间代码。深度解析其架构设计、代码示例与未来展望。
CUDA-Oxide
Rust
GPU编程
NVIDIA
PTX
SIMT
并行计算
高性能计算
CUDA Tile 深度拆解:当 GPU 编程从「线程思维」跃迁到「数据块思维」——从 Tile IR、cuTile Python 到 Blackwell 硬件映射的工程全貌(2026)
编程
CUDA Tile 深度拆解:当 GPU 编程从「线程思维」跃迁到「数据块思维」——从 Tile IR、cuTile Python 到 Blackwell 硬件映射的工程全貌(2026)
2026-07-18 03:17:24 +0800 CST
view 168
深度拆解 NVIDIA CUDA 13.1 Tile 编程模型:从 SIMT 到 Tile-based 的范式革命、Tile IR 虚拟指令集、cuTile Python DSL、与 Triton 的竞争格局、Flash Attention 实战案例、完整迁移指南与性能优化技巧。
CUDA
GPU编程
cuTile
Tile IR
Blackwell
Tensor Core
高性能计算
深度学习
Python
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 28
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
TileKernels 深度解析:DeepSeek 用 80 行代码榨干 GPU,算子开发范式的降维打击
编程
TileKernels 深度解析:DeepSeek 用 80 行代码榨干 GPU,算子开发范式的降维打击
2026-04-30 03:22:15 +0800 CST
view 902
深度解析 DeepSeek 开源的高性能 GPU 算子库 TileKernels:基于 TileLang DSL 用 80 行代码实现手写 CUDA 级性能,覆盖 MoE Gating/Routing、FP8/FP4 量化、Engram 门控等七大算子家族,首次原生支持 NVIDIA Blackwell 架构,并通过 TVM 编译器打通昇腾等国产芯片。
DeepSeek
TileKernels
GPU
CUDA
TileLang
MoE
算子优化
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
编程
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
2026-08-04 22:46:33 +0800 CST
view 27
深度拆解Redis创始人antirez打造的DwarfStar 4本地推理引擎:专用MoE推理栈、非对称2-Bit量化、磁盘KV缓存、SSD流式加载、多机流水线并行,在128GB MacBook上跑出26 tok/s的284B模型推理
DwarfStar
Redis
antirez
DeepSeek
MoE
本地推理
LLM
推理引擎
2-Bit量化
KV缓存
Apple Metal
CUDA
开源
LightRAG 深度拆解:当 RAG 决定「干掉全部纯向量检索」——一个 38K Star 的知识图谱引擎如何用实体-关系双层检索重新定义检索增强生成的终极形态
编程
LightRAG 深度拆解:当 RAG 决定「干掉全部纯向量检索」——一个 38K Star 的知识图谱引擎如何用实体-关系双层检索重新定义检索增强生成的终极形态
2026-08-04 23:15:13 +0800 CST
view 23
深度拆解38K Star开源RAG框架LightRAG:实体-关系双层检索架构、六种检索模式、Neo4j/PostgreSQL可插拔存储、RRF融合排序算法、多模态支持,附完整代码实战与性能基准对比
LightRAG
知识图谱
RAG
向量检索
EMNLP
Python
LLM
检索增强生成
HKUDS
开源
KTransformers 深度拆解:单张 4090 跑满血 DeepSeek-R1 671B,清华团队如何用 CPU/GPU 异构推理实现 28 倍加速
编程
KTransformers 深度拆解:单张 4090 跑满血 DeepSeek-R1 671B,清华团队如何用 CPU/GPU 异构推理实现 28 倍加速
2026-07-29 09:44:03 +0800 CST
view 126
深度拆解清华开源的 KTransformers:MoE 稀疏性卸载、AMX/Marlin 高性能算子、CUDA Graph 与 YAML 注入框架四层架构,单张 4090 跑满血 DeepSeek-R1 671B,附完整部署实战与性能调优清单。
KTransformers
异构推理
MoE
DeepSeek
AMX
CUDA Graph
大模型部署
性能优化
开源
GPU上的无畏并发:cuTile Rust如何用Rust所有权系统破解GPU安全编程难题
编程
GPU上的无畏并发:cuTile Rust如何用Rust所有权系统破解GPU安全编程难题
2026-07-29 10:46:05 +0800 CST
view 113
深度拆解NVIDIA cuTile Rust:用Rust所有权系统实现GPU内核的编译期安全保证,7TB/s元素级操作、2PFlop/s GEMM达到cuBLAS 96%性能。
Rust
GPU编程
cuTile
内存安全
无数据竞争
CUDA
所有权系统
NVIDIA
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 2093
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 622
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
gsplat深度解析:3D高斯泼溅的CUDA加速革命——从伯克利/英伟达开源库到生产级实时渲染
编程
gsplat深度解析:3D高斯泼溅的CUDA加速革命——从伯克利/英伟达开源库到生产级实时渲染
2026-06-30 15:18:05 +0800 CST
view 1032
深度解析UC伯克利/NVIDIA等机构联合开发的gsplat开源库:CUDA加速的3D高斯泼溅渲染引擎,节省4倍显存、缩短15%训练时间,涵盖数学原理、CUDA架构、训练流程、性能优化与生产应用。
gsplat
3D Gaussian Splatting
CUDA
图形渲染
3D重建
NeRF
实时渲染
PyTorch
DeepGEMM 深度解析:DeepSeek 开源的 FP8 GEMM 内核如何重塑 AI 推理性能边界
编程
DeepGEMM 深度解析:DeepSeek 开源的 FP8 GEMM 内核如何重塑 AI 推理性能边界
2026-04-21 05:16:09 +0800 CST
view 1014
深入剖析 DeepSeek 开源的 DeepGEMM 库:从 FP8 精度革命到 1550 TFLOPS 性能突破,揭秘现代 AI 推理基础设施的底层优化技术
DeepGEMM
FP8
DeepSeek
CUDA
AI推理
GPU优化
GEMM
TensorCore
国产 AI 编程工具深度实战:五巨头正面交锋——从 SPEC 规范驱动到 Agent 自主编码的完全指南(2026)
编程
国产 AI 编程工具深度实战:五巨头正面交锋——从 SPEC 规范驱动到 Agent 自主编码的完全指南(2026)
2026-06-03 08:21:57 +0800 CST
view 873
2026年国产AI编程工具深度对比:腾讯CodeBuddy、字节Trae、阿里Qoder和通义灵码、百度Comate五巨头技术架构拆解与实战评测
AI编程
CodeBuddy
Trae
Qoder
通义灵码
Comate
SPEC
Visual Studio 2026 + .NET 10 深度解析:微软把 IDE 和运行时一起推上了新台阶
编程
Visual Studio 2026 + .NET 10 深度解析:微软把 IDE 和运行时一起推上了新台阶
2026-04-12 12:23:47 +0800 CST
view 1023
Visual Studio 2026 和 .NET 10 深度解析:ProfilerCopilotAgent、JIT优化、NativeAOT成熟化、C# 14新特性、ASP.NET Core 10实战,全面覆盖升级要点与性能对比
Visual Studio 2026
.NET 10
C# 14
NativeAOT
ASP.NET Core
JIT
性能优化
IDE
Hermes Agent 深度实战:自进化 AI Agent 的三层记忆架构与 Skill 自动生成完全指南(下篇)
编程
Hermes Agent 深度实战:自进化 AI Agent 的三层记忆架构与 Skill 自动生成完全指南(下篇)
2026-06-04 04:45:35 +0800 CST
view 614
下篇:深入讲解 Nudge Engine 定时复盘、强化学习从经验中学习、完整代码实战(从零搭建自进化 Agent)、与其他框架对比、生产级最佳实践、性能优化策略。
Hermes Agent
自进化
AI Agent
Nudge Engine
强化学习
代码实战
Lucebox 深度解析:9.56L 铝合金盒子如何用 RTX 3090 + Ryzen AI MAX+ 395 的 128GB 统一内存 + DFlash 推测解码 + 自研 CUDA 内核让消费级硬件实现 4-6 倍云端推理加速——从硬件架构到开源推理引擎 lucebox-hub 的完整实战指南
编程
Lucebox 深度解析:9.56L 铝合金盒子如何用 RTX 3090 + Ryzen AI MAX+ 395 的 128GB 统一内存 + DFlash 推测解码 + 自研 CUDA 内核让消费级硬件实现 4-6 倍云端推理加速——从硬件架构到开源推理引擎 lucebox-hub 的完整实战指南
2026-07-07 00:44:30 +0800 CST
view 309
深度解析Lucebox本地AI推理盒子:9.56L铝合金机身塞入RTX 3090+Ryzen AI MAX+ 395的128GB统一内存,配合自研DFlash推测解码和CUDA内核优化,在消费级硬件上实现4-6倍推理加速。从硬件架构到开源引擎lucebox-hub的完整实战指南。
Lucebox
本地推理
AI Agent
推测解码
CUDA
RTX 3090
Ryzen AI MAX
开源
GMSSH:桌面级AI运维终端,零侵入纯SSH隧道
编程
GMSSH:桌面级AI运维终端,零侵入纯SSH隧道
2026-05-24 16:49:36 +0800 CST
view 486
GMSSH是桌面级AI驱动运维终端,零侵入纯SSH隧道,服务器不用装任何Agent,进程隔离+UDS通信,AI通过MCP感知实时状态,50+运维技能包,核心闭源+生态开放。
AI运维
SSH
运维工具
终端工具
桌面级
进程隔离
UDS
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
编程
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
2026-07-14 01:14:51 +0800 CST
view 393
2026年7月PyTorch 2.13重磅发布:FlexAttention在Apple Silicon实现12倍加速、CuTeDSL提供CUTLASS级GEMM代码生成、融合损失函数将大词汇量训练峰值显存削减4倍、torchcomms革新分布式通信后端、ExecuTorch正式并入核心,深度拆解六大核心更新与实战代码。
PyTorch
深度学习
机器学习框架
GPU
Distributed Training
FlexAttention
CUDA
GEMM
ROCm
Apple Silicon
MPS
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
编程
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
2026-07-02 07:45:18 +0800 CST
view 284
深度解析 NVIDIA Blackwell GPU 架构与 CUDA 13.1 Tile 编程模型,涵盖 FP4 量化、Tensor Core v5、NVLink 5.0、DeepSeek V4 推理优化等核心技术,提供完整 Python 实战代码。
Blackwell
CUDA
GPU编程
AI推理
性能优化
深度学习
并行计算
NVIDIA
量化
Tensor Core
DeepSeek DeepGEMM 2026年4月重磅更新:Mega MoE融合算子、FP4精度与极致性能优化
编程
DeepSeek DeepGEMM 2026年4月重磅更新:Mega MoE融合算子、FP4精度与极致性能优化
2026-04-23 08:41:45 +0800 CST
view 716
深度解析DeepSeek DeepGEMM 2026年4月重大更新:Mega MoE融合算子(dispatch+Linear+SwiGLU+Combine五合一,NVLink通信与Tensor Core计算重叠)、FP8xFP4 GEMM、FP4 Indexer、PDL调度优化与JIT加速,附完整代码实战。
DeepGEMM
DeepSeek
GPU优化
CUDA
FP8
FP4
MoE
AI Infra
高性能计算
NVIDIA
RAG-Anything:港大开源多模态文档 RAG 框架,让 AI 真正读懂图、表、公式
编程
RAG-Anything:港大开源多模态文档 RAG 框架,让 AI 真正读懂图、表、公式
2026-07-14 11:37:51 +0800 CST
view 260
RAG-Anything是香港大学开源的All-in-One多模态文档RAG框架(基于LightRAG),文本/图像/表格/LaTeX公式统一为知识实体,多模态知识图谱双图结构,跨模态混合检索,金融研报/法律合同/科研文献/制造质检开箱即用。
RAG
RAG-Anything
LightRAG
多模态
知识图谱
VLM
RAG框架
开源
HKUDS
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
编程
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
2026-05-28 19:13:18 +0800 CST
view 581
DwarfStar(ds4)是Redis创始人antirez开发的DeepSeek V4 Flash专用推理引擎,支持Metal与CUDA双轨优化、磁盘KV Cache、imatrix量化和原生Agent集成。本文深入解析其架构设计与性能表现。
DeepSeek
ds4
Metal
CUDA
本地推理
MoE
量化
GGUF
Agent
Python
C
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
23
24
25
26
27
...
32
下一页