程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
WasmEdge 深度实战:当 WebAssembly 遇见云原生与边缘智能——从 OCI 标准兼容到 AI 推理加速、Serverless 冷启动优化与生产级部署的完全指南(2026)
编程
WasmEdge 深度实战:当 WebAssembly 遇见云原生与边缘智能——从 OCI 标准兼容到 AI 推理加速、Serverless 冷启动优化与生产级部署的完全指南(2026)
2026-06-18 03:24:12 +0800 CST
view 617
本文深入讲解WasmEdge的核心原理、架构设计、代码实战、性能优化和生产级部署的最佳实践,帮助开发者掌握这项正在改变云原生和边缘计算格局的技术。
WebAssembly
云原生
边缘计算
AI推理
Serverless
RISC-V 正在重写芯片世界:从香山处理器到如意系统,一场从指令集到生态的开源革命
编程
RISC-V 正在重写芯片世界:从香山处理器到如意系统,一场从指令集到生态的开源革命
2026-07-13 11:15:02 +0800 CST
view 209
深度拆解RISC-V开源芯片生态:从香山处理器微架构、如意操作系统内核设计、向量/矩阵扩展AI推理到玄铁C930服务器级部署,配完整代码示例与性能优化指南。
RISC-V
香山处理器
如意系统
开源芯片
指令集架构
高性能计算
AI推理
英特尔至强6 + SambaNova RDU:异构AI推理架构如何重新定义Agentic计算
编程
英特尔至强6 + SambaNova RDU:异构AI推理架构如何重新定义Agentic计算
2026-04-13 14:53:38 +0800 CST
view 737
深度解析英特尔与SambaNova联合发布的商用异构AI推理架构,涵盖三阶段分工、至强6 AMX加速向量数据库70%性能提升、LLVM编译50%加速等核心技术创新
AI推理
异构计算
至强6
SambaNova
Agentic
向量数据库
LLVM
性能优化
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 202
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
编程
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
2026-07-02 07:45:18 +0800 CST
view 241
深度解析 NVIDIA Blackwell GPU 架构与 CUDA 13.1 Tile 编程模型,涵盖 FP4 量化、Tensor Core v5、NVLink 5.0、DeepSeek V4 推理优化等核心技术,提供完整 Python 实战代码。
Blackwell
CUDA
GPU编程
AI推理
性能优化
深度学习
并行计算
NVIDIA
量化
Tensor Core
WebAssembly 2.0 深度实战:当 Wasm 撕掉「浏览器插件」标签,从游戏引擎到 AI 推理的全面入侵(2026)
编程
WebAssembly 2.0 深度实战:当 Wasm 撕掉「浏览器插件」标签,从游戏引擎到 AI 推理的全面入侵(2026)
2026-06-13 17:24:12 +0800 CST
view 777
深度拆解 WebAssembly 2.0 核心特性:GC 支持、SIMD 增强、异常处理标准化、Component Model。从浏览器到边缘计算,从 AI 推理到 Serverless 运行时,全方位实战指南。
WebAssembly
Wasm 2.0
WASI
Serverless
AI推理
Component Model
SIMD
Rust
JavaScript
边缘计算
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
编程
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
2026-07-20 17:18:01 +0800 CST
view 177
深度解析SGLang推理框架核心技术:RadixAttention基数树KV缓存、连续批处理与CPU-GPU调度重叠、约束解码结构化输出、CVE-2026-5760安全漏洞修复、生产部署实战,以及与vLLM的完整对比选型指南。
SGLang
LLM
RadixAttention
PagedAttention
推理优化
Python
深度学习
向量检索
Agent
RAG
vLLM
CVE
Rust
高性能计算
Cloudflare Workers AI 模型绑定深度剖析:从架构内幕到生产级部署的完整指南(2026)
编程
Cloudflare Workers AI 模型绑定深度剖析:从架构内幕到生产级部署的完整指南(2026)
2026-05-26 13:10:20 +0800 CST
view 474
深度剖析 Cloudflare Workers AI 的模型绑定机制、边缘推理架构内幕,以及生产级部署中最实用的优化策略与避坑指南。
Cloudflare
Workers AI
边缘计算
AI推理
Serverless
模型部署
低延迟
2026
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
编程
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
2026-04-23 19:09:57 +0800 CST
view 653
深度解析微软开源的BitNet b1.58 2B4T模型,从1.58位三值量化原理、架构设计、性能对比到部署实战,全面剖析这个仅需0.4GB内存、在普通CPU上流畅运行的革命性大语言模型。
BitNet
量化
大模型
微软
CPU推理
边缘计算
腾讯混元 Hy3 preview 开源:295B 参数、推理提效 40%,姚顺雨首秀交卷
资讯
腾讯混元 Hy3 preview 开源:295B 参数、推理提效 40%,姚顺雨首秀交卷
2026-04-23 21:18:45 +0800 CST
view 865
2026年4月23日,腾讯发布并开源新一代大模型混元Hy3preview,总参数295B、激活参数21B的MoE架构,支持256K超长上下文,推理效率提升40%,API最低1.2元/百万tokens。在复杂推理、代码与Agent能力上表现突出,接近GPT-5.4级别,数学推理创国内最高纪录。已接入腾讯云、元宝等多条产品线,并上架TokenHub。
人工智能
大模型
腾讯
开源
MoE
推理
代码生成
Agent
云计算
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
编程
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
2026-04-15 17:20:25 +0800 CST
view 703
深度解析中科院与腾讯微信联合研发的 FlashPrefill 如何通过即时注意力模式发现和动态阈值筛选,将 25.6 万字符长文本处理速度提升 27.78 倍,同时保持近乎完美的精度。
LLM推理优化
FlashAttention
GPU计算
长文本处理
注意力机制
Transformer
深度学习
Serverless WebAssembly 深度实战:当 Wasm 从浏览器走进生产服务器——WASM Component Model、边缘计算与 AI 推理的下一站(2026)
编程
Serverless WebAssembly 深度实战:当 Wasm 从浏览器走进生产服务器——WASM Component Model、边缘计算与 AI 推理的下一站(2026)
2026-06-14 14:19:12 +0800 CST
view 490
服务端 WebAssembly 2026 年最新进展:深入解析 WASM Component Model、边缘计算、AI 推理落地、WASI 2.0 接口与性能优化实战,从零构建完整的 WASM 服务端项目。
WebAssembly
WASM
WasmEdge
Serverless
边缘计算
Component Model
WASI
AI推理
云原生
性能优化
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 517
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
WebAssembly 运行时深度实战:Wasmtime、WasmEdge、Wasmer 三大引擎性能对比与生产级选型指南
编程
WebAssembly 运行时深度实战:Wasmtime、WasmEdge、Wasmer 三大引擎性能对比与生产级选型指南
2026-06-27 19:47:48 +0800 CST
view 311
深度对比 WebAssembly 三大运行时 Wasmtime、WasmEdge、Wasmer 的架构原理、性能基准与生产级部署。包含真实测试数据、代码示例和选型决策指南,助你做出最优技术选型。
WebAssembly
Wasmtime
WasmEdge
Wasmer
性能优化
边缘计算
Serverless
AI推理
WebAssembly 2.0 深度实战:当浏览器性能反超原生——从底层原理到生产级应用的完全指南(2026)
编程
WebAssembly 2.0 深度实战:当浏览器性能反超原生——从底层原理到生产级应用的完全指南(2026)
2026-06-09 10:19:41 +0800 CST
view 504
2026年 WebAssembly 2.0 正式落地,浏览器性能反超原生应用。本文深入剖析 Wasm 2.0 的 GC 原生支持、多线程、SIMD、WASI 等核心能力,通过 Rust 实战代码展示图像处理、AI 推理、边缘计算等生产级应用场景,并给出详细的性能基准测试数据。
WebAssembly
WASM 2.0
Rust
性能优化
多线程
GC
边缘计算
AI推理
浏览器
NATS 深度实战:当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南(2026)
编程
NATS 深度实战:当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南(2026)
2026-06-21 10:55:40 +0800 CST
view 370
NATS深度实战:从Pub/Sub到JetStream持久化,从边缘计算到AI推理总线,生产级完全指南(2026)
NATS
消息队列
云原生
微服务
AI推理
边缘计算
JetStream
Pub/Sub
Request/Reply
Queue Groups
NATS 消息系统深度实战:云原生通信基础设施的架构设计与生产级最佳实践(2026)
编程
NATS 消息系统深度实战:云原生通信基础设施的架构设计与生产级最佳实践(2026)
2026-06-21 10:56:10 +0800 CST
view 339
NATS深度实战:云原生通信基础设施的架构设计与生产级最佳实践(2026)
NATS
消息队列
云原生
微服务
AI推理
边缘计算
JetStream
Pub/Sub
Request/Reply
Queue Groups
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 415
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
编程
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
2026-06-29 21:14:35 +0800 CST
view 310
深度解析OpenAI首款自研AI推理芯片Jalapeño:9个月流片、推理成本降低50%、每瓦性能超越英伟达GPU。从架构设计、内存优化、数据流优化到产业链合作,全方位解读这款芯片如何重塑AI推理市场格局。
OpenAI
Jalapeño
AI芯片
ASIC
推理芯片
英伟达
GPU
博通
Broadcom
LLM推理
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22 +0800 CST
view 754
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
DiffusionGemma 深度实战:当 Google 用「扩散」颠覆自回归——从离散文本扩散原理到 MoE 架构、本地推理加速与生产级部署的完全指南(2026)
编程
DiffusionGemma 深度实战:当 Google 用「扩散」颠覆自回归——从离散文本扩散原理到 MoE 架构、本地推理加速与生产级部署的完全指南(2026)
2026-06-16 18:52:52 +0800 CST
view 471
Google DeepMind联合NVIDIA发布DiffusionGemma——基于离散文本扩散的实验性开源模型。本文深入解读26B MoE架构、双向注意力机制、本地推理4倍加速原理,附完整代码示例和部署实战。
Google
DiffusionGemma
扩散模型
MoE
开源LLM
本地推理
AI推理加速
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
编程
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
2026-05-23 11:16:44 +0800 CST
view 523
深度解析UC San Diego Z Lab提出的DFlash(Block Diffusion for Flash Speculative Decoding),详解块扩散草稿模型如何突破自回归瓶颈,在Qwen3-8B上实现6倍无损加速的架构原理、训练方法与生产级实战代码
LLM推理,投机解码,块扩散模型,大模型加速,DFlash,Speculative Decoding,UC San Diego,PyTorch,深度学习,AI推理优化
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
编程
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
2026-07-24 06:14:45 +0800 CST
view 132
深度对比vLLM与SGLang两大LLM推理引擎:PagedAttention vs RadixAttention,Continuous Batching原理,吞吐与延迟实战选型指南
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
Continuous Batching
GPU优化
推理引擎
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
编程
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
2026-07-18 13:17:37 +0800 CST
view 145
深度拆解 vLLM 0.5 的 PagedAttention 核心原理、连续批处理架构、MoE 推理优化、分布式部署策略,以及 2026 年四大推理框架生产级性能横评。
vLLM
PagedAttention
LLM推理
ContinuousBatching
MoE
FusedMoE
量化
分布式推理
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
15
下一页