程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Cloudflare Workers AI 模型绑定深度剖析:从架构内幕到生产级部署的完整指南(2026)
编程
Cloudflare Workers AI 模型绑定深度剖析:从架构内幕到生产级部署的完整指南(2026)
2026-05-26 13:10:20 +0800 CST
view 539
深度剖析 Cloudflare Workers AI 的模型绑定机制、边缘推理架构内幕,以及生产级部署中最实用的优化策略与避坑指南。
Cloudflare
Workers AI
边缘计算
AI推理
Serverless
模型部署
低延迟
2026
万卡集群背后的秘密:2026年K8s如何驱动AI基础设施革命
编程
万卡集群背后的秘密:2026年K8s如何驱动AI基础设施革命
2026-06-26 17:19:50 +0800 CST
view 363
2026年Kubernetes在AI领域的三个关键趋势深度解析:GPU调度范式革命、AI工作负载原生支持、多集群管理工业化
Kubernetes
K8s
AI基础设施
GPU调度
云原生
分布式训练
模型推理
Karmada
Volcano
vLLM
Ray
KubeRay
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
编程
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
2026-04-23 19:09:57 +0800 CST
view 724
深度解析微软开源的BitNet b1.58 2B4T模型,从1.58位三值量化原理、架构设计、性能对比到部署实战,全面剖析这个仅需0.4GB内存、在普通CPU上流畅运行的革命性大语言模型。
BitNet
量化
大模型
微软
CPU推理
边缘计算
微软Build 2026震撼发布:7款MAI自研模型全解析——从"OpenAI金主"到"模型自研商"的战略革命
编程
微软Build 2026震撼发布:7款MAI自研模型全解析——从"OpenAI金主"到"模型自研商"的战略革命
2026-06-26 19:44:06 +0800 CST
view 584
深度解析微软在Build 2026发布的7款MAI自研模型:从MAI-Thinking-1的MoE架构创新到MAI-Orion的性能怪兽,从"不蒸馏"训练哲学到成本直降10倍的商业逻辑,万字长文带你读懂微软AI战略的惊险跳跃。
MAI
微软
Build2026
MoE
自研模型
AI战略
Azure
推理模型
DeepSeek V4 技术架构深度解析:从万亿参数 MoE 到百万 token 上下文的工程实践(2026)
编程
DeepSeek V4 技术架构深度解析:从万亿参数 MoE 到百万 token 上下文的工程实践(2026)
2026-07-07 23:16:31 +0800 CST
view 304
深入解析 DeepSeek V4 的四大核心技术:MoE 分层专家路由、CSA/HCA/mHC 三层混合注意力、Engram 记忆架构、国产算力适配方案
MoE架构
百万上下文
Engram记忆
国产AI
深度求索
大模型
DSA
CSA
推理优化
AirLLM深度拆解:用分层流式推理打破显存壁垒——从4GB显卡跑通70B大模型的工程极限到MoE时代的新坐标
编程
AirLLM深度拆解:用分层流式推理打破显存壁垒——从4GB显卡跑通70B大模型的工程极限到MoE时代的新坐标
2026-08-09 08:42:54 +0800 CST
view 66
深度拆解AirLLM:用分层流式推理打破显存壁垒,从4GB显卡跑通70B大模型的工程原理到MoE时代的新坐标,配完整代码示例与实战指南。
AirLLM
LLM推理
显存优化
MoE
Transformer
Python
AI部署
腾讯混元 Hy3 preview 开源:295B 参数、推理提效 40%,姚顺雨首秀交卷
资讯
腾讯混元 Hy3 preview 开源:295B 参数、推理提效 40%,姚顺雨首秀交卷
2026-04-23 21:18:45 +0800 CST
view 936
2026年4月23日,腾讯发布并开源新一代大模型混元Hy3preview,总参数295B、激活参数21B的MoE架构,支持256K超长上下文,推理效率提升40%,API最低1.2元/百万tokens。在复杂推理、代码与Agent能力上表现突出,接近GPT-5.4级别,数学推理创国内最高纪录。已接入腾讯云、元宝等多条产品线,并上架TokenHub。
人工智能
大模型
腾讯
开源
MoE
推理
代码生成
Agent
云计算
Docker AI Toolkit 2026 深度解析:从镜像构建到推理服务,AI 工作流的全链路重构
编程
Docker AI Toolkit 2026 深度解析:从镜像构建到推理服务,AI 工作流的全链路重构
2026-05-14 01:55:02 +0800 CST
view 550
Docker AI Toolkit 2026于2026年3月1日发布,原生支持PyTorch 2.4、TensorFlow 2.17、ONNX Runtime 1.19一键构建,Sigstore签名+OIDC身份绑定防止供应链攻击,docker ai serve --adaptive自适应推理让GPU利用率稳定在80%,LLM微调延迟压至83ms,WASM沙箱让边缘AI应用启动时间<100ms。
Docker,AI Toolkit,PyTorch,TensorFlow,ONNX Runtime,模型签名验证,Sigstore,WASM沙箱,自适应推理
XY-Serve 深度实战:当昇腾 NPU 终于学会「驯服动态负载」——从元原语分解、Token级调度到 Attention/Linear 双内核优化的完整工程指南(2026)
编程
XY-Serve 深度实战:当昇腾 NPU 终于学会「驯服动态负载」——从元原语分解、Token级调度到 Attention/Linear 双内核优化的完整工程指南(2026)
2026-07-21 08:20:26 +0800 CST
view 195
华为联合清华大学开源的 XY-Serve 论文被 ASPLOS 2026 录用,解决了 NPU 上高效运行动态 LLM 负载的核心挑战。吞吐量提升95%,Attention 内核提速21.5%,Linear 内核提速14.6%。
XY-Serve
华为昇腾
NPU
LLM推理
Meta-Attention
虚拟填充
动态负载
ASPLOS
AI基础设施
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
编程
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
2026-04-15 17:20:25 +0800 CST
view 787
深度解析中科院与腾讯微信联合研发的 FlashPrefill 如何通过即时注意力模式发现和动态阈值筛选,将 25.6 万字符长文本处理速度提升 27.78 倍,同时保持近乎完美的精度。
LLM推理优化
FlashAttention
GPU计算
长文本处理
注意力机制
Transformer
深度学习
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
编程
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
2026-06-06 01:38:49 +0800 CST
view 755
DFlash(Block Diffusion for Flash Speculative Decoding)是ZLab于2026年提出的LLM推理加速框架,用块扩散模型替代传统自回归草稿模型,实现6倍以上无损加速。
LLM推理加速
推测解码
扩散模型
块扩散
DFlash
ZLab
大模型优化
SGLang 深度实战:新一代 LLM 编程与推理框架——从 RadixAttention 原理到 Agent 系统生产部署
编程
SGLang 深度实战:新一代 LLM 编程与推理框架——从 RadixAttention 原理到 Agent 系统生产部署
2026-05-06 17:37:39 +0800 CST
view 813
深度解析 SGLang 推理框架的 RadixAttention 原理、DSL 编程范式、正则约束解码,以及在 Agent 系统和多轮对话场景的生产部署实践。
SGLang
LLM
推理加速
Agent
RadixAttention
结构化生成
Kubernetes v1.36 深度解析:当 Ingress NGINX 退役遇上 Istio 环境模式——云原生网络架构的范式革命
编程
Kubernetes v1.36 深度解析:当 Ingress NGINX 退役遇上 Istio 环境模式——云原生网络架构的范式革命
2026-04-16 04:40:40 +0800 CST
view 912
深入解析 Kubernetes v1.36 重大变革:Ingress NGINX 退役、Gateway API 崛起、Istio 环境模式多集群支持、AI 推理网关等云原生网络架构的范式革命
Kubernetes
Istio
云原生
Gateway API
服务网格
Ambient Mode
AI推理
多集群
Kubernetes v1.36 与 Istio 环境模式深度解析:云原生网络架构的范式革命——从 Ingress NGINX 退役到 AI 推理网关
编程
Kubernetes v1.36 与 Istio 环境模式深度解析:云原生网络架构的范式革命——从 Ingress NGINX 退役到 AI 推理网关
2026-04-16 04:41:31 +0800 CST
view 786
深入解析 Kubernetes v1.36 重大变革:Ingress NGINX 退役、Gateway API 崛起、Istio 环境模式多集群支持、AI 推理网关等云原生网络架构的范式革命
Kubernetes
Istio
云原生
Gateway API
服务网格
Ambient Mode
AI推理
多集群
Serverless WebAssembly 深度实战:当 Wasm 从浏览器走进生产服务器——WASM Component Model、边缘计算与 AI 推理的下一站(2026)
编程
Serverless WebAssembly 深度实战:当 Wasm 从浏览器走进生产服务器——WASM Component Model、边缘计算与 AI 推理的下一站(2026)
2026-06-14 14:19:12 +0800 CST
view 584
服务端 WebAssembly 2026 年最新进展:深入解析 WASM Component Model、边缘计算、AI 推理落地、WASI 2.0 接口与性能优化实战,从零构建完整的 WASM 服务端项目。
WebAssembly
WASM
WasmEdge
Serverless
边缘计算
Component Model
WASI
AI推理
云原生
性能优化
OpenAI Jalapeño 芯片深度解析:从"借道英伟达"到"自建帝国",一颗"辣椒"如何重塑 AI 算力格局
编程
OpenAI Jalapeño 芯片深度解析:从"借道英伟达"到"自建帝国",一颗"辣椒"如何重塑 AI 算力格局
2026-06-27 10:43:27 +0800 CST
view 312
2026年6月24日OpenAI发布首款自研AI推理芯片Jalapeño,从架构设计到流片仅用9个月。本文深度解析这颗ASIC的技术架构、数据流设计、AI辅助芯片工程、对英伟达的影响以及整个AI算力产业格局的重塑。
OpenAI,Jalapeño,AI芯片,ASIC,博通,Broadcom,LLM推理,AI基础设施,半导体,大模型
1.58-bit 大模型极限量化实战:从 BitNet 三值权重到单颗 CPU 跑起 100B 模型
编程
1.58-bit 大模型极限量化实战:从 BitNet 三值权重到单颗 CPU 跑起 100B 模型
2026-07-21 16:20:29 +0800 CST
view 215
2026极限量化实战:BitNet三值权重、absmean/absmax量化、BitLinear实现、带宽数学与bitnet.cpp内核优化,单CPU跑100B模型。
BitNet
1.58-bit
大模型量化
LLM
端侧推理
bitnet.cpp
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 141
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
编程
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
2026-05-07 03:35:48 +0800 CST
view 587
深度解析微软 BitNet 1-bit LLM 推理框架,从三值量化数学原理到 bitnet.cpp 内核优化,再到 CPU 原生推理实战部署的全链路架构解析
BitNet
1-bit LLM
量化
CPU推理
微软
AI编程Agent用10小时凿开CUDA护城河:推理战场的底层软件革命与程序员的真实机遇
编程
AI编程Agent用10小时凿开CUDA护城河:推理战场的底层软件革命与程序员的真实机遇
2026-08-10 14:47:15 +0800 CST
view 38
深度拆解AI编程Agent用10小时为非英伟达芯片搭建底层软件栈的事件:从CUDA三层架构本质、Infinity Ignition Agent原理、推理战场竞争格局、到验证生态护城河,结合DeepSeek TileLang路径对比,给出程序员视角的机遇分析。
CUDA
AI Agent
推理芯片
Infinity
Ignition
d-Matrix
底层软件
GPU Kernel
芯片适配
护城河
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
编程
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
2026-07-15 10:13:07 +0800 CST
view 226
深度拆解 vLLM 核心架构:从 PagedAttention 分页内存管理、Continuous Batching 动态调度,到 Speculative Decoding、Prefix Caching 等高级特性,配完整代码示例与生产部署指南。
vLLM
PagedAttention
LLM推理
深度学习
GPU优化
Continuous Batching
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 593
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
MELT架构深度解析:高通如何让AI"深度思考"不再耗尽内存——循环Transformer的内存革命
编程
MELT架构深度解析:高通如何让AI"深度思考"不再耗尽内存——循环Transformer的内存革命
2026-05-19 13:46:15 +0800 CST
view 503
高通AI研究院提出的MELT架构通过门控机制让循环Transformer的内存消耗保持恒定,无论思考多少轮。本文深度解析其架构原理、数学推导、训练策略与性能实测。
AI
Transformer
内存优化
深度推理
高通
TurboQuant 深度实战:Google 的 KV 缓存压缩算法完全指南(2026)
编程
TurboQuant 深度实战:Google 的 KV 缓存压缩算法完全指南(2026)
2026-06-08 20:52:38 +0800 CST
view 455
2026年3月Google Research在ICLR 2026发表TurboQuant算法,将LLM的KV缓存压缩至3-bit,实现6倍内存缩减和8倍推理加速。本文深入剖析TurboQuant的技术原理,并提供生产级部署指南。
TurboQuant
KV缓存压缩
LLM推理优化
量化算法
Google Research
ICLR2026
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
9
10
11
12
13
下一页