程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Microsoft BitNet 深度实战:1比特大模型推理框架——让CPU跑起千亿参数模型的技术革命(2026完全指南)
编程
Microsoft BitNet 深度实战:1比特大模型推理框架——让CPU跑起千亿参数模型的技术革命(2026完全指南)
2026-05-26 12:35:43 +0800 CST
view 167
深入解析 Microsoft BitNet 1比特大模型推理框架,从原理到实战,让CPU跑起千亿参数模型。包含完整代码示例、性能优化策略和应用场景分析。
BitNet
模型量化
大模型推理
CPU推理
1-bit LLM
DiffusionGemma 深度实战:当文本扩散重新定义本地AI推理——从'打字机'到'印刷机'的4倍速架构革命
编程
DiffusionGemma 深度实战:当文本扩散重新定义本地AI推理——从'打字机'到'印刷机'的4倍速架构革命
2026-06-12 17:21:39 +0800 CST
view 35
2026年6月Google发布DiffusionGemma,首个生产级文本扩散大模型,本地推理速度提升4倍。本文深入剖析其从自回归到并行生成的架构革命,附完整代码实战。
DiffusionGemma
文本扩散
本地AI
Gemma
大模型推理
扩散模型
Python
Ollama
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 63
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 64
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
大模型部署太慢?这个超级引擎帮你搞定!SGLang速通指南
编程
大模型部署太慢?这个超级引擎帮你搞定!SGLang速通指南
2026-04-22 09:27:57 +0800 CST
view 384
DeepSeek官方推荐!SGLang高性能大模型推理框架速通指南,RadixAttention前缀缓存、零开销调度、OpenAI API兼容,性能碾压vLLM。
SGLang
大模型推理
DeepSeek
开源
vLLM
DFlash 深度实战:块扩散投机解码革命——让 Qwen3-8B 推理速度暴增 6.17 倍的技术全景(2026 完全指南)
编程
DFlash 深度实战:块扩散投机解码革命——让 Qwen3-8B 推理速度暴增 6.17 倍的技术全景(2026 完全指南)
2026-05-30 20:43:16 +0800 CST
view 191
DFlash 通过将块扩散模型引入投机解码,实现6.17倍无损推理加速。本文从原理、架构、数学推导、代码实战到生产部署,全方位解析这项颠覆性技术。
AI
大模型推理
DFlash
投机解码
块扩散
Qwen3
性能优化
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
编程
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
2026-05-23 11:16:44 +0800 CST
view 224
深度解析UC San Diego Z Lab提出的DFlash(Block Diffusion for Flash Speculative Decoding),详解块扩散草稿模型如何突破自回归瓶颈,在Qwen3-8B上实现6倍无损加速的架构原理、训练方法与生产级实战代码
LLM推理,投机解码,块扩散模型,大模型加速,DFlash,Speculative Decoding,UC San Diego,PyTorch,深度学习,AI推理优化
Elixir v1.20 深度实战:当函数式语言穿上类型铠甲——从集合论渐进类型到生产级类型检查的完全指南(2026)
编程
Elixir v1.20 深度实战:当函数式语言穿上类型铠甲——从集合论渐进类型到生产级类型检查的完全指南(2026)
2026-06-10 17:20:20 +0800 CST
view 67
2026年6月Elixir v1.20正式发布,宣布成为渐进类型语言。本文深入解析集合论渐进类型系统的理论基础、核心语法、生产实践,包括内联类型注解、类型守卫、增量迁移策略,以及与Dialyzer的协同。
Elixir
函数式编程
类型系统
渐进类型
Beam
OTP
动态类型
静态类型
类型推断
编译器优化
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 63
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
DeepSeek 专家模式深度解析:当低调更新成为AGI赛道的产品哲学宣言
编程
DeepSeek 专家模式深度解析:当低调更新成为AGI赛道的产品哲学宣言
2026-04-09 10:23:56 +0800 CST
view 478
2026年4月8日,DeepSeek悄然上线「专家模式」,无发布会无公告,却被业内视为V4发布前最有分量的产品预告。本文深度拆解双模式技术架构差异,实测数理推理、专业编程、创意写作三大场景,并解读这一低调更新背后的产品哲学与行业信号。
DeepSeek
AI大模型
V4
专家模式
推理模型
产品设计
国产AI
场景分层
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 254
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
编程
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
2026-06-06 01:38:49 +0800 CST
view 149
DFlash(Block Diffusion for Flash Speculative Decoding)是ZLab于2026年提出的LLM推理加速框架,用块扩散模型替代传统自回归草稿模型,实现6倍以上无损加速。
LLM推理加速
推测解码
扩散模型
块扩散
DFlash
ZLab
大模型优化
MiniMind-O 深度实战:从0训练0.1B全模态Omni模型——2026年极简大模型工程化完全指南
编程
MiniMind-O 深度实战:从0训练0.1B全模态Omni模型——2026年极简大模型工程化完全指南
2026-05-24 16:30:13 +0800 CST
view 261
MiniMind-O 以仅0.1B参数实现能听能说能看的全模态Omni能力,4张RTX 3090仅需4小时完成训练。本文深入剖析Thinker-Talker双路架构、编码器融合技术,并提供从数据处理到推理部署的完整工程化指南。
MiniMind-O
全模态模型
Omni模型
大模型训练
多模态AI
边缘计算
Google AI Edge Gallery:手机离线跑大模型时代来了,2.2万Star端侧AI神器
案例
Google AI Edge Gallery:手机离线跑大模型时代来了,2.2万Star端侧AI神器
2026-05-09 07:36:45 +0800 CST
view 444
Google开源AI神器AI Edge Gallery斩获2.2万Star,支持iOS和Android手机离线运行Gemma 4等大模型,提供AI Chat、Ask Image、Audio Scribe、Agent Skills四大功能,消费级入口形态让普通用户轻松体验端侧AI
端侧AI
手机大模型
离线推理
Gemma 4
Google开源
iOS
Android
TurboQuant + RWKV-6:AI 推理效率双重突破——从内存压缩到线性架构,大模型部署范式的革命性重构
编程
TurboQuant + RWKV-6:AI 推理效率双重突破——从内存压缩到线性架构,大模型部署范式的革命性重构
2026-04-20 10:46:48 +0800 CST
view 328
深度解析 2026 年 AI 推理效率的双重突破:Google TurboQuant 实现 6 倍内存压缩与 8 倍速度提升,RWKV-6 以线性复杂度架构打破 Transformer 的二次方魔咒。从数学原理到代码实战,详解这场效率革命的本质。
TurboQuant
RWKV
AI推理
内存压缩
大模型
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
编程
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31 +0800 CST
view 463
深度对比vLLM与TensorRT-LLM两大LLM推理框架,从PagedAttention到Kernel Fusion,从量化技术到生产部署,助你做出正确的技术选型决策
LLM
vLLM
TensorRT-LLM
推理优化
大模型部署
量化技术
AI工程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 266
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
1.6万亿参数,1M上下文,仅需27%算力:DeepSeek-V4-Pro 如何重新定义长文本推理
编程
1.6万亿参数,1M上下文,仅需27%算力:DeepSeek-V4-Pro 如何重新定义长文本推理
2026-05-11 10:53:54 +0800 CST
view 317
DeepSeek-V4-Pro 以 1.6T 总参数、49B 激活参数的 MoE 架构,原生支持 100 万 token 上下文,同时将推理算力降至 V3.2 的 27%、KV Cache 降至 10%。本文深度解析 CSA/HCA 混合注意力机制、mHC 流形约束超连接、KV Cache 极致优化、Muon 优化器等核心技术创新,以及如何在 Ollama、vLLM、官方 API 三种方式下部署运行。
DeepSeek-V4,MoE架构,CSA注意力,HCA注意力,KV Cache,1M上下文,长文本推理,开源大模型
ds4.c 深度解析:Redis之父如何用纯C代码在MacBook上跑通284B大模型——从不对称量化到KV缓存磁盘化的完整技术内幕
编程
ds4.c 深度解析:Redis之父如何用纯C代码在MacBook上跑通284B大模型——从不对称量化到KV缓存磁盘化的完整技术内幕
2026-05-18 06:15:03 +0800 CST
view 351
Redis之父antirez开源ds4.c项目深度解析:用纯C语言在MacBook上运行284B参数大模型,不对称2-bit量化、KV缓存磁盘化、OpenAI/Anthropic API兼容,打造首个真正的本地Agent推理后端
AI推理
本地大模型
Redis
Apple Silicon
DeepSeek
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
编程
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
2026-04-23 19:09:57 +0800 CST
view 377
深度解析微软开源的BitNet b1.58 2B4T模型,从1.58位三值量化原理、架构设计、性能对比到部署实战,全面剖析这个仅需0.4GB内存、在普通CPU上流畅运行的革命性大语言模型。
BitNet
量化
大模型
微软
CPU推理
边缘计算
腾讯混元 Hy3 preview 开源:295B 参数、推理提效 40%,姚顺雨首秀交卷
资讯
腾讯混元 Hy3 preview 开源:295B 参数、推理提效 40%,姚顺雨首秀交卷
2026-04-23 21:18:45 +0800 CST
view 541
2026年4月23日,腾讯发布并开源新一代大模型混元Hy3preview,总参数295B、激活参数21B的MoE架构,支持256K超长上下文,推理效率提升40%,API最低1.2元/百万tokens。在复杂推理、代码与Agent能力上表现突出,接近GPT-5.4级别,数学推理创国内最高纪录。已接入腾讯云、元宝等多条产品线,并上架TokenHub。
人工智能
大模型
腾讯
开源
MoE
推理
代码生成
Agent
云计算
小米MiMo-V2.5-Pro-UltraSpeed深度实战:当万亿参数模型突破1000 Tokens/s——从全链路优化到生产级推理加速的完全指南(2026)
编程
小米MiMo-V2.5-Pro-UltraSpeed深度实战:当万亿参数模型突破1000 Tokens/s——从全链路优化到生产级推理加速的完全指南(2026)
2026-06-09 13:18:45 +0800 CST
view 319
深度解析小米MiMo-V2.5-Pro-UltraSpeed如何在通用GPU上实现1000 Tokens/s的推理速度,包括FP4量化、DFlash解码引擎、TileRT执行系统等核心技术。
AI
推理加速
大模型
小米
GPU优化
oMLX 深度解析:Apple Silicon 原生的本地大模型推理服务器——从分层 KV 缓存到菜单栏级 AI 编码伴侣
编程
oMLX 深度解析:Apple Silicon 原生的本地大模型推理服务器——从分层 KV 缓存到菜单栏级 AI 编码伴侣
2026-05-21 22:30:11 +0800 CST
view 295
深入解析 oMLX 的分层 KV 缓存架构(热 RAM + 冷 SSD)、Copy-on-Write 优化、与 Claude Code 的深度集成,以及 Apple Silicon 原生的推理性能优化。
oMLX
Apple Silicon
本地大模型
KV缓存
MLX
推理服务器
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
编程
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
2026-04-08 15:51:53 +0800 CST
view 1347
深度对比SGLang与vLLM两大LLM推理框架,从架构设计、核心原理、性能实测、适用场景多维度解析,附2026年选型建议
LLM
SGLang
vLLM
推理优化
大模型
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
9
下一页