程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
colibrì 深度拆解:当1300行纯C在25GB笔记本上跑起744B大模型——纯C运行时、MoE稀疏激活与智谱GLM-5.2的工程奇迹(2026)
编程
colibrì 深度拆解:当1300行纯C在25GB笔记本上跑起744B大模型——纯C运行时、MoE稀疏激活与智谱GLM-5.2的工程奇迹(2026)
2026-07-19 09:14:11 +0800 CST
view 1057
纯C语言实现的大模型推理引擎,仅用1300行代码在25GB内存笔记本上运行744B参数的GLM-5.2 MoE模型,含完整代码示例与技术解析
C语言
GLM-5.2
MoE
大模型推理
量化
AVX2
MLA注意力
推测解码
Apple Silicon
DeepSeek V4 Flash 深度拆解:当后训练决定「不改架构只改脑子」——从 DSA2 混合注意力到 98% 缓存命中,一个 13B 激活参数的轻量模型如何用「后训练革命」在 9 项 Agent 基准上全面超越自家 1.6 万亿旗舰预览版
编程
DeepSeek V4 Flash 深度拆解:当后训练决定「不改架构只改脑子」——从 DSA2 混合注意力到 98% 缓存命中,一个 13B 激活参数的轻量模型如何用「后训练革命」在 9 项 Agent 基准上全面超越自家 1.6 万亿旗舰预览版
2026-08-05 22:19:15 +0800 CST
view 175
深度拆解DeepSeek V4-Flash正式版:13B激活参数如何通过后训练革命在9项Agent基准上超越1.6万亿旗舰预览版,98%缓存命中实现/bin/zsh.03单任务成本,DSA2混合注意力架构全面解析
DeepSeek
V4-Flash
MoE
DSA2
Agent
开源大模型
稀疏注意力
后训练
成本优化
国产算力
LongCat-2.0 深度解析:美团万亿参数 MoE 大模型如何用国产算力 + LSA 稀疏注意力 + 零计算专家打造 Agentic Coding 王者——从架构原理到生产级实战的完整指南
编程
LongCat-2.0 深度解析:美团万亿参数 MoE 大模型如何用国产算力 + LSA 稀疏注意力 + 零计算专家打造 Agentic Coding 王者——从架构原理到生产级实战的完整指南
2026-07-07 00:13:46 +0800 CST
view 318
深度解析美团开源的LongCat-2.0万亿参数MoE大模型:50K国产卡全流程训练、LSA稀疏注意力实现1M超长上下文、零计算专家动态激活33B-56B、MOPD多专家融合、SWE-bench Pro 59.5超越GPT-5.5。从架构原理到生产级实战的完整指南。
LongCat-2.0
美团
MoE
万亿参数
国产算力
LSA稀疏注意力
Agentic Coding
开源大模型
美团 LongCat-2.0 深度解析:1.6 万亿参数 MoE 大模型如何在五万卡国产算力上跑通全流程——从 LSA 稀疏注意力到 MOPD 多类型专家架构的完整技术剖析
编程
美团 LongCat-2.0 深度解析:1.6 万亿参数 MoE 大模型如何在五万卡国产算力上跑通全流程——从 LSA 稀疏注意力到 MOPD 多类型专家架构的完整技术剖析
2026-07-07 10:14:22 +0800 CST
view 328
深度解析美团LongCat-2.0万亿参数MoE大模型:1.6T总参数/48B激活、LSA稀疏注意力实现1M原生上下文、N-gram Embedding 135B参数强化代码理解、MOPD三类专家动态调度、五万卡国产算力全流程训练。SWE-bench Pro 59.5超GPT-5.5,从架构原理到生产级实战的完整技术剖析。
LongCat-2.0
美团
MoE
大模型
国产算力
LSA
稀疏注意力
N-gram Embedding
MOPD
开源
MiniMax M3 & MSA 深度实战:当国产大模型用「稀疏注意力」重写 Transformer 规则——从 1M 上下文架构原理到生产级 Agent 部署的完全指南(2026)
编程
MiniMax M3 & MSA 深度实战:当国产大模型用「稀疏注意力」重写 Transformer 规则——从 1M 上下文架构原理到生产级 Agent 部署的完全指南(2026)
2026-06-13 23:46:46 +0800 CST
view 597
深度拆解MiniMax M3的MSA稀疏注意力架构:两级路由原理、MSA vs MoE技术对比、1M上下文实战、Agent部署、性能基准测试、选型决策指南
MiniMax M3
MSA
稀疏注意力
大模型
Agent
AI
Transformer
开源模型
Kimi K3深度解析:2.8万亿参数、MoE架构与开源大模型的工程拐点(2026完整版)
编程
Kimi K3深度解析:2.8万亿参数、MoE架构与开源大模型的工程拐点(2026完整版)
2026-07-21 01:14:29 +0800 CST
view 530
深度解析月之暗面Kimi K3:2.8万亿参数MoE架构、KDA混合注意力机制、AttnRes残差设计、Mooncake分离式推理与90%缓存命中率,附完整API接入代码与工程落地指南。
Kimi K3
MoE
KDA
开源大模型
Mooncake
长上下文
注意力机制
AI编程
Agent
MiniMax M3 深度实战:当稀疏注意力打破百万 Token 墙——从 MSA 架构原理到 1M 上下文工程实践、原生多模态与 Agent 集群的生产级完全指南(2026)
编程
MiniMax M3 深度实战:当稀疏注意力打破百万 Token 墙——从 MSA 架构原理到 1M 上下文工程实践、原生多模态与 Agent 集群的生产级完全指南(2026)
2026-06-19 07:26:01 +0800 CST
view 443
深度解析MiniMax M3的自研MSA稀疏注意力架构,从KV outer gather Q设计到1M上下文工程实践,包含代码示例、性能优化和部署指南
MiniMax
M3
MSA
稀疏注意力
1M上下文
多模态
Agent
大模型
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
编程
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
2026-04-15 17:20:25 +0800 CST
view 808
深度解析中科院与腾讯微信联合研发的 FlashPrefill 如何通过即时注意力模式发现和动态阈值筛选,将 25.6 万字符长文本处理速度提升 27.78 倍,同时保持近乎完美的精度。
LLM推理优化
FlashAttention
GPU计算
长文本处理
注意力机制
Transformer
深度学习
稀疏注意力架构革命:2026年长上下文大模型核心技术解析
编程
稀疏注意力架构革命:2026年长上下文大模型核心技术解析
2026-07-09 08:45:09 +0800 CST
view 403
深入解析2026年稀疏注意力技术革命,涵盖SubCube、CSA/HCA、MSA三大架构的技术原理、代码实现与实战指南,探讨长上下文大模型的最新发展。
AI
大模型
Transformer
稀疏注意力
LongContext
DeepSeek
MiniMax
TriAttention深度解析:MIT韩松团队如何用三角函数让单卡4090跑出百万Token上下文
编程
TriAttention深度解析:MIT韩松团队如何用三角函数让单卡4090跑出百万Token上下文
2026-04-17 10:15:58 +0800 CST
view 707
2026年4月,MIT、英伟达、浙江大学联合发布TriAttention,用三角函数建模注意力距离偏好,实现KV缓存10.7倍压缩,让单卡4090跑出百万Token上下文。
AI
大模型
Transformer
注意力机制
KV缓存
长上下文
模型优化
论文解读
2026
DeepSeek V4 深度解析:DSA 稀疏注意力与 mHC 流形约束——百万上下文普惠化的技术革命(2026)
编程
DeepSeek V4 深度解析:DSA 稀疏注意力与 mHC 流形约束——百万上下文普惠化的技术革命(2026)
2026-07-04 06:44:28 +0800 CST
view 359
2026年4月DeepSeek V4发布,开创百万上下文普惠化时代。深度解析DSA稀疏注意力、mHC流形约束、Muon优化器三大技术创新,含完整代码实战与部署指南。
DeepSeek V4
大模型
MoE
稀疏注意力
长上下文
DSA
mHC
MIT黑科技:TriAttention如何用三角函数让大模型「记住」超长上下文
编程
MIT黑科技:TriAttention如何用三角函数让大模型「记住」超长上下文
2026-04-18 12:45:10 +0800 CST
view 1033
深度解析MIT/NVIDIA/浙大联合发布的TriAttention技术,用三角函数预测注意力分布,实现KV Cache智能压缩,让超长上下文推理成为可能
大模型
注意力机制
KV缓存
Transformer
深度学习
AI优化
Qwen3.8-Max架构深度拆解:2.4万亿稀疏MoE如何用950亿激活参数挑战Claude——从混合专家路由到百万Token滑窗记忆的全链路工程革命
编程
Qwen3.8-Max架构深度拆解:2.4万亿稀疏MoE如何用950亿激活参数挑战Claude——从混合专家路由到百万Token滑窗记忆的全链路工程革命
2026-08-12 18:14:32 +0800 CST
view 57
深度拆解阿里巴巴Qwen3.8-Max架构:2.4万亿参数的稀疏MoE如何用950亿激活参数实现GPT-4级能力,从分层专家路由、百万Token滑动窗口缓存到自主编程能力的全链路工程解析
Qwen3.8-Max
稀疏MoE
混合专家
Transformer架构
大模型推理
百万Token上下文
深度学习
AI
SSM-Transformer 混合架构深度实战:当状态空间模型终于与注意力机制握手言和
编程
SSM-Transformer 混合架构深度实战:当状态空间模型终于与注意力机制握手言和
2026-07-11 10:25:05 +0800 CST
view 267
深度拆解 2026 年 SSM-Transformer 混合架构的设计哲学、内核原理与生产实战:Mamba 选择性状态空间模型、Hybrid 混合层设计、vLLM 推理优化、Kubernetes 部署与性能调优,配完整可运行代码。
SSM
Mamba
Mamba2
Transformer
混合架构
状态空间模型
长上下文
推理优化
大模型
LLM
Qwen3.8-2.4T-A95B 首次开源:从 2.4 万亿参数旗舰到本地部署,2026 年最重磅开发者事件深度解析
编程
Qwen3.8-2.4T-A95B 首次开源:从 2.4 万亿参数旗舰到本地部署,2026 年最重磅开发者事件深度解析
2026-08-13 09:52:01 +0800 CST
view 72
2026年8月13日阿里Qwen团队正式开放Qwen3.8-2.4T-A95B模型权重,这是Qwen-Max级别旗舰首次开源。本文从技术原理、MoE架构、上下文扩展、双协议兼容、性能对比、本地部署门槛、生产踩坑清单六个维度深度解析这一2026年最重磅开发者事件。
Qwen3.8
2.4T参数
MoE架构
开源权重
本地部署
稀疏混合专家
AI大模型
国产大模型
Qwen3.8-2.4T-A95B 深度技术拆解:从2.4万亿参数MoE架构到本地部署的完整工程实践(2026)
编程
Qwen3.8-2.4T-A95B 深度技术拆解:从2.4万亿参数MoE架构到本地部署的完整工程实践(2026)
2026-08-13 19:44:17 +0800 CST
view 55
深度拆解阿里开源的Qwen3.8-2.4T-A95B模型:2.4万亿参数、512专家MoE架构、混合注意力机制、MTP多Token预测、9芯适配、vLLM/SGLang部署实战与性能优化,附15条生产踩坑清单。
Qwen3.8
MoE架构
混合专家
开源大模型
本地部署
人工智能
170亿参数撬动万亿算力:Llama 4 Scout/Maverick如何用MoE架构重新定义开源大模型
编程
170亿参数撬动万亿算力:Llama 4 Scout/Maverick如何用MoE架构重新定义开源大模型
2026-05-11 20:48:39 +0800 CST
view 816
深度解析Llama 4 Scout/Maverick的MoE架构、128专家设计、1000万token超长上下文,附本地部署实战与许可证分析
Meta
Llama4
MoE
开源大模型
混合专家架构
Scout
Maverick
iRoPE
Gemma 4 MoE 架构技术深度解析:Dense MLP + Routed MoE 双路径设计如何重塑开源大模型
编程
Gemma 4 MoE 架构技术深度解析:Dense MLP + Routed MoE 双路径设计如何重塑开源大模型
2026-04-21 14:22:20 +0800 CST
view 754
深度解析 Google Gemma 4 的 Dual-Path 混合架构设计:Dense MLP 保障通用基座能力,Routed MoE 释放专业化推理效率。一文吃透技术原理、部署实战与选型对比。
Gemma 4
MoE架构
Dense MLP
Routed MoE
Google DeepMind
开源大模型
Transformer
模型部署
混合专家
MoE架构深度实战:当模型参数突破万亿——从DeepSeek R2到GPT-5的稀疏激活革命(2026完全指南)
编程
MoE架构深度实战:当模型参数突破万亿——从DeepSeek R2到GPT-5的稀疏激活革命(2026完全指南)
2026-06-26 00:46:56 +0800 CST
view 320
2026年,大语言模型的参数量已经突破1.2万亿(DeepSeek R2),但推理时的计算量只相当于200亿参数的稠密模型。这背后的核心技术就是Mixture of Experts(MoE)架构。本文深度解析MoE的核心原理、工程实现、负载均衡策略,以及DeepSeek R2和GPT-5中的最新优化技巧。包含完整的PyTorch代码实战,从零实现MoE层。
MoE架构
混合专家
DeepSeek R2
稀疏激活
门控网络
负载均衡
大模型推理
细粒度MoE
共享专家
GPT-5
腾讯混元 Hy3 正式版深度解析:快慢思考融合的 MoE 架构与开发者实战指南
编程
腾讯混元 Hy3 正式版深度解析:快慢思考融合的 MoE 架构与开发者实战指南
2026-07-07 14:15:18 +0800 CST
view 600
深度解析腾讯混元 Hy3 正式版的技术架构,涵盖 MoE 混合专家、快慢思考融合机制、256K 上下文、Agent 能力等核心特性,并提供 API 调用与 SDK 集成的完整实战指南。
MoE架构
快慢思考
腾讯混元
Hy3
AI大模型
混合专家
Agent
开发者工具
Qdrant 深度实战:当 Rust 写的向量数据库统治 AI 检索层——从 HNSW 到 GPU 加速、从混合搜索到生产级 K8s 部署的完全指南(2026)
编程
Qdrant 深度实战:当 Rust 写的向量数据库统治 AI 检索层——从 HNSW 到 GPU 加速、从混合搜索到生产级 K8s 部署的完全指南(2026)
2026-07-17 13:21:10 +0800 CST
view 190
2026年深度实战 Qdrant v1.13+:Rust 编写的高性能向量数据库核心架构、HNSW 算法原理与参数调优、GPU 加速索引构建、稀疏+密集混合搜索与 RRF 融合、Docker/Kubernetes StatefulSet 生产部署、Go 高性能客户端实战、AI Agent 记忆系统完整实现,12000字完全指南。
Qdrant
向量数据库
Rust
HNSW
GPU
RAG
AI
混合搜索
分布式
量化压缩
Kubernetes
Qdrant v1.13+ 深度实战:Rust 向量引擎 + GPU 加速 + 混合搜索 + K8s 全栈指南——2026 年 AI 检索层最优解
编程
Qdrant v1.13+ 深度实战:Rust 向量引擎 + GPU 加速 + 混合搜索 + K8s 全栈指南——2026 年 AI 检索层最优解
2026-07-17 13:22:42 +0800 CST
view 266
2026年深度实战 Qdrant:Rust 编写的高性能向量数据库核心架构、HNSW 算法与参数调优、GPU 加速索引构建、稀疏+密集混合搜索、RRF 融合、Kubernetes StatefulSet 生产部署与 AI Agent 记忆系统实战。
Qdrant
Rust
HNSW
GPU
RAG
AI
混合搜索
分布式
量化压缩
Kubernetes
Qwen3.8-Max 深度拆解:当阿里决定「把 2.4 万亿参数的旗舰模型开源」——MoE 稀疏路由、百万 Token 上下文与自主编码能力如何重新定义开源大模型的终极形态
编程
Qwen3.8-Max 深度拆解:当阿里决定「把 2.4 万亿参数的旗舰模型开源」——MoE 稀疏路由、百万 Token 上下文与自主编码能力如何重新定义开源大模型的终极形态
2026-08-05 05:46:24 +0800 CST
view 176
深度拆解阿里Qwen3.8-Max:2.4万亿参数MoE旗舰模型,950亿激活参数,100万Token上下文,原生多模态,自主编码16天265次提交,Arena全球第二,Max级模型首次开源
Qwen3.8
MoE
开源大模型
阿里
千问
混合专家
100万Token
自主编码
多模态
2.4万亿参数
RAGFlow 深度解析:从 DeepDoc 文档理解到混合检索引擎——2026 年最值得研读的开源 RAG 系统完整实战指南
编程
RAGFlow 深度解析:从 DeepDoc 文档理解到混合检索引擎——2026 年最值得研读的开源 RAG 系统完整实战指南
2026-07-06 08:13:47 +0800 CST
view 548
深度解析RAGFlow开源RAG引擎:DeepDoc文档理解引擎的三层架构(视觉感知+OCR+解析器)、六种智能分块策略、三路混合检索(BM25+向量+知识图谱)+RRF融合重排、Agent工作流编排、MCP Server集成、长期记忆模块。含Python SDK完整代码实战、Docker Compose部署指南、与Dify/FastGPT对比。
RAGFlow
RAG
DeepDoc
文档理解
混合检索
知识图谱
MCP
AI工程
开源
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
11
下一页