程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
SubCube 深度实战:亚二次稀疏注意力 SSA 如何打破 Transformer 的 O(n²) 铁律——1200万 Token 时代从架构原理到生产级部署的完全指南(2026)
编程
SubCube 深度实战:亚二次稀疏注意力 SSA 如何打破 Transformer 的 O(n²) 铁律——1200万 Token 时代从架构原理到生产级部署的完全指南(2026)
2026-05-31 08:21:47 +0800 CST
view 314
Subquadratic发布的SubQ模型采用SSA亚二次稀疏注意力架构,实现1200万Token上下文窗口,在MRCR v2基准测试中碾压GPT-5.5。本文从架构原理、基准分析、代码实战到生产部署全面解读这场注意力革命。
SSA
Subquadratic
SubQ
Transformer
注意力机制
长上下文
RAG
稀疏注意力
AI架构
大模型
LongCat-2.0 深度解析:美团万亿参数 MoE 大模型如何用国产算力 + LSA 稀疏注意力 + 零计算专家打造 Agentic Coding 王者——从架构原理到生产级实战的完整指南
编程
LongCat-2.0 深度解析:美团万亿参数 MoE 大模型如何用国产算力 + LSA 稀疏注意力 + 零计算专家打造 Agentic Coding 王者——从架构原理到生产级实战的完整指南
2026-07-07 00:13:46 +0800 CST
view 15
深度解析美团开源的LongCat-2.0万亿参数MoE大模型:50K国产卡全流程训练、LSA稀疏注意力实现1M超长上下文、零计算专家动态激活33B-56B、MOPD多专家融合、SWE-bench Pro 59.5超越GPT-5.5。从架构原理到生产级实战的完整指南。
LongCat-2.0
美团
MoE
万亿参数
国产算力
LSA稀疏注意力
Agentic Coding
开源大模型
MiniMax M3 开源:当 428B 参数遇见自研 MSA 稀疏注意力——从架构革命到编程超 GPT-5.5 的生产级完全指南(2026)
编程
MiniMax M3 开源:当 428B 参数遇见自研 MSA 稀疏注意力——从架构革命到编程超 GPT-5.5 的生产级完全指南(2026)
2026-06-16 09:47:42 +0800 CST
view 300
MiniMax M3 428B参数开源大模型深度解析:自研MSA稀疏注意力架构、编程能力超越GPT-5.5、1M上下文、原生多模态,从底层原理到生产部署的完全指南
MiniMax M3
MSA稀疏注意力
开源大模型
大模型技术
AI编程
MiniMax M3 开源旗舰深度实战:当 428B 参数遇上自研 MSA 稀疏注意力——从百万级上下文到 SWE-Bench 超越 GPT-5.5、从 ICLR 论文自主复现到 CUDA 算子 9.4× 加速的生产级完全指南(2026)
编程
MiniMax M3 开源旗舰深度实战:当 428B 参数遇上自研 MSA 稀疏注意力——从百万级上下文到 SWE-Bench 超越 GPT-5.5、从 ICLR 论文自主复现到 CUDA 算子 9.4× 加速的生产级完全指南(2026)
2026-06-22 18:23:16 +0800 CST
view 259
MiniMax M3 是 2026 年首个同时集齐百万级上下文、顶尖编程能力、原生多模态的开源旗舰大模型。本文深度拆解其自研 MSA 稀疏注意力架构、基准测试数据、API 实战调用、本地部署方案,以及三个震撼的真实案例复盘。
MiniMax M3
MSA稀疏注意力
大模型
开源模型
AI编程
MiniMax M3 深度实战:国产大模型首次在编程能力上超越 GPT-5.5——从 MSA 稀疏注意力架构到百万 Token 生产级部署的完全指南(2026)
编程
MiniMax M3 深度实战:国产大模型首次在编程能力上超越 GPT-5.5——从 MSA 稀疏注意力架构到百万 Token 生产级部署的完全指南(2026)
2026-06-03 05:14:49 +0800 CST
view 569
2026年6月 MiniMax M3 发布,SWE-Bench Pro 59.0% 超越 GPT-5.5。深度解析 MSA 稀疏注意力、百万Token上下文工程实现、原生多模态融合、Computer Use 架构及生产级部署实战。
MiniMax M3
大模型
稀疏注意力
AI编程
开源模型
LongCat-2.0 深度解析:美团万亿参数大模型如何用「零计算专家」和「稀疏注意力」在国产算力上跑出 SWE-bench Pro 59.5 分——从架构设计到 API 接入的完整实战指南
编程
LongCat-2.0 深度解析:美团万亿参数大模型如何用「零计算专家」和「稀疏注意力」在国产算力上跑出 SWE-bench Pro 59.5 分——从架构设计到 API 接入的完整实战指南
2026-07-06 11:44:38 +0800 CST
view 16
深度解析美团开源LongCat-2.0万亿参数大模型:MoE架构1.6T参数/48B激活、LongCat稀疏注意力(LSA)实现1M上下文、零计算专家动态激活、MOPD多专家融合、五万卡国产算力全流程训练、SWE-bench Pro 59.5超越GPT-5.5。含完整API接入代码实战。
LongCat
美团
大模型
MoE
稀疏注意力
国产算力
Agentic Coding
开源
万字深度解析 DeepSeek V4:当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%(2026)
编程
万字深度解析 DeepSeek V4:当 1.6 万亿参数遇见 DSA 稀疏注意力——开源大模型如何让 API 账单暴降 95%(2026)
2026-07-01 07:13:58 +0800 CST
view 110
2026年4月DeepSeek V4发布,1.6万亿参数+百万上下文+SWE-Bench 80.6%,API成本暴降95%。深度解析DSA稀疏注意力、MoE架构、生产级部署实战。
DeepSeek V4
DSA 稀疏注意力
MoE 架构
百万上下文
开源大模型
API 成本优化
大模型部署
Agent 能力
SWE-Bench
DeepSeek
MiniMax M3 & MSA 深度实战:当国产大模型用「稀疏注意力」重写 Transformer 规则——从 1M 上下文架构原理到生产级 Agent 部署的完全指南(2026)
编程
MiniMax M3 & MSA 深度实战:当国产大模型用「稀疏注意力」重写 Transformer 规则——从 1M 上下文架构原理到生产级 Agent 部署的完全指南(2026)
2026-06-13 23:46:46 +0800 CST
view 324
深度拆解MiniMax M3的MSA稀疏注意力架构:两级路由原理、MSA vs MoE技术对比、1M上下文实战、Agent部署、性能基准测试、选型决策指南
MiniMax M3
MSA
稀疏注意力
大模型
Agent
AI
Transformer
开源模型
MiniMax M3 深度实战:当稀疏注意力打破百万 Token 墙——从 MSA 架构原理到 1M 上下文工程实践、原生多模态与 Agent 集群的生产级完全指南(2026)
编程
MiniMax M3 深度实战:当稀疏注意力打破百万 Token 墙——从 MSA 架构原理到 1M 上下文工程实践、原生多模态与 Agent 集群的生产级完全指南(2026)
2026-06-19 07:26:01 +0800 CST
view 192
深度解析MiniMax M3的自研MSA稀疏注意力架构,从KV outer gather Q设计到1M上下文工程实践,包含代码示例、性能优化和部署指南
MiniMax
M3
MSA
稀疏注意力
1M上下文
多模态
Agent
大模型
GLM-5.2 深度实战:当国产大模型拿下 Code Arena 全球第一——从 744B MoE 架构到 1M 上下文、从 DSA 稀疏注意力到 Agentic Engineering 的生产级完全指南(2026)
编程
GLM-5.2 深度实战:当国产大模型拿下 Code Arena 全球第一——从 744B MoE 架构到 1M 上下文、从 DSA 稀疏注意力到 Agentic Engineering 的生产级完全指南(2026)
2026-06-19 15:54:07 +0800 CST
view 248
2026年6月17日,智谱AI正式开源GLM-5.2,在Code Arena拿下全球可用模型第一。本文深度解析744B MoE架构、DSA稀疏注意力、1M上下文实现原理,并提供完整代码实战指南。
GLM-5.2
大模型
AI编程
智谱AI
MoE架构
稀疏注意力
CodeArena
DeepSeek V4 深度解析:DSA 稀疏注意力与 mHC 流形约束——百万上下文普惠化的技术革命(2026)
编程
DeepSeek V4 深度解析:DSA 稀疏注意力与 mHC 流形约束——百万上下文普惠化的技术革命(2026)
2026-07-04 06:44:28 +0800 CST
view 42
2026年4月DeepSeek V4发布,开创百万上下文普惠化时代。深度解析DSA稀疏注意力、mHC流形约束、Muon优化器三大技术创新,含完整代码实战与部署指南。
DeepSeek V4
大模型
MoE
稀疏注意力
长上下文
DSA
mHC
1.6万亿参数,1M上下文,仅需27%算力:DeepSeek-V4-Pro 如何重新定义长文本推理
编程
1.6万亿参数,1M上下文,仅需27%算力:DeepSeek-V4-Pro 如何重新定义长文本推理
2026-05-11 10:53:54 +0800 CST
view 484
DeepSeek-V4-Pro 以 1.6T 总参数、49B 激活参数的 MoE 架构,原生支持 100 万 token 上下文,同时将推理算力降至 V3.2 的 27%、KV Cache 降至 10%。本文深度解析 CSA/HCA 混合注意力机制、mHC 流形约束超连接、KV Cache 极致优化、Muon 优化器等核心技术创新,以及如何在 Ollama、vLLM、官方 API 三种方式下部署运行。
DeepSeek-V4,MoE架构,CSA注意力,HCA注意力,KV Cache,1M上下文,长文本推理,开源大模型
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
编程
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
2026-06-29 15:13:32 +0800 CST
view 110
百度 Unlimited OCR 用 R-SWA 机制把 KV Cache 压成常数,首次实现 40+ 页文档单次前向解析。深度解析 R-SWA 原理、模型架构、性能基准与实战部署。
百度
Unlimited OCR
OCR
R-SWA
KV Cache
长文档
端到端OCR
DeepEncoder
MoE
参考滑动窗口注意力
百度 Unlimited-OCR 深度解析:R-SWA 注意力机制如何用 3B 参数打爆百亿模型
编程
百度 Unlimited-OCR 深度解析:R-SWA 注意力机制如何用 3B 参数打爆百亿模型
2026-06-30 16:16:03 +0800 CST
view 90
2026年6月百度开源Unlimited-OCR深度解析:R-SWA参考滑动窗口注意力机制将KV Cache从线性增长压成常数,3B MoE模型用500M激活参数在OmniDocBench上以93.92%总分刷新SOTA,打爆Qwen3-VL 72B和Gemini 2.5 Pro。万字长文从架构原理到代码实战全覆盖。
Unlimited-OCR
端到端OCR
R-SWA
百度
注意力机制
大模型
MoE
深度学习
AI开源
文档解析
万字深度解析 DeepSeek V4:当 1.6T 开源模型遇见「架构效率革命」——从 mHC 稳压机制到 CSA/HCA 稀疏注意力、从 FP4 量化到 Muon 优化器的完整技术指南(2026)
编程
万字深度解析 DeepSeek V4:当 1.6T 开源模型遇见「架构效率革命」——从 mHC 稳压机制到 CSA/HCA 稀疏注意力、从 FP4 量化到 Muon 优化器的完整技术指南(2026)
2026-07-02 06:43:56 +0800 CST
view 60
DeepSeek V4 技术架构深度解析:从 mHC 流形约束超连接、CSA/HCA 混合稀疏注意力、FP4 量化感知训练到 Muon 优化器,完整拆解 1.6T 开源模型如何用架构创新把 1M token 推理效率提升到 V3.2 的 10%。
DeepSeek V4
大模型架构
MoE
CSA/HCA 注意力
FP4 量化
mHC
AI 开源
长上下文
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
编程
FlashPrefill 深度解析:当瞬时注意力遇上 GPU 原语——从 O(N²) 困境到 27 倍速的工程革命
2026-04-15 17:20:25 +0800 CST
view 570
深度解析中科院与腾讯微信联合研发的 FlashPrefill 如何通过即时注意力模式发现和动态阈值筛选,将 25.6 万字符长文本处理速度提升 27.78 倍,同时保持近乎完美的精度。
LLM推理优化
FlashAttention
GPU计算
长文本处理
注意力机制
Transformer
深度学习
TriAttention深度解析:MIT韩松团队如何用三角函数让单卡4090跑出百万Token上下文
编程
TriAttention深度解析:MIT韩松团队如何用三角函数让单卡4090跑出百万Token上下文
2026-04-17 10:15:58 +0800 CST
view 538
2026年4月,MIT、英伟达、浙江大学联合发布TriAttention,用三角函数建模注意力距离偏好,实现KV缓存10.7倍压缩,让单卡4090跑出百万Token上下文。
AI
大模型
Transformer
注意力机制
KV缓存
长上下文
模型优化
论文解读
2026
DeepSeek V4 深度解析:百万token上下文的技术革命,让开源模型站上全球之巅
编程
DeepSeek V4 深度解析:百万token上下文的技术革命,让开源模型站上全球之巅
2026-04-28 08:19:25 +0800 CST
view 541
深度解析 DeepSeek V4:混合注意力机制、MoE 架构、100万token 上下文、Agent 能力,从技术原理到部署实战,全面剖析开源模型新天花板
DeepSeek
AI大模型
开源
长上下文
MoE
混合注意力
Agent
MIT黑科技:TriAttention如何用三角函数让大模型「记住」超长上下文
编程
MIT黑科技:TriAttention如何用三角函数让大模型「记住」超长上下文
2026-04-18 12:45:10 +0800 CST
view 614
深度解析MIT/NVIDIA/浙大联合发布的TriAttention技术,用三角函数预测注意力分布,实现KV Cache智能压缩,让超长上下文推理成为可能
大模型
注意力机制
KV缓存
Transformer
深度学习
AI优化
MoE架构深度实战:当模型参数突破万亿——从DeepSeek R2到GPT-5的稀疏激活革命(2026完全指南)
编程
MoE架构深度实战:当模型参数突破万亿——从DeepSeek R2到GPT-5的稀疏激活革命(2026完全指南)
2026-06-26 00:46:56 +0800 CST
view 116
2026年,大语言模型的参数量已经突破1.2万亿(DeepSeek R2),但推理时的计算量只相当于200亿参数的稠密模型。这背后的核心技术就是Mixture of Experts(MoE)架构。本文深度解析MoE的核心原理、工程实现、负载均衡策略,以及DeepSeek R2和GPT-5中的最新优化技巧。包含完整的PyTorch代码实战,从零实现MoE层。
MoE架构
混合专家
DeepSeek R2
稀疏激活
门控网络
负载均衡
大模型推理
细粒度MoE
共享专家
GPT-5
Windows Coreutils 深度实战:当微软用 Rust 为 Windows 重新实现 Linux 命令行工具链——从 Build 2026 到生产级完全指南(2026)
编程
Windows Coreutils 深度实战:当微软用 Rust 为 Windows 重新实现 Linux 命令行工具链——从 Build 2026 到生产级完全指南(2026)
2026-06-16 18:23:52 +0800 CST
view 240
Build 2026微软发布Windows Coreutils:基于Rust+uutils重写,75个Linux命令原生运行,NTFS硬链接架构,多调用二进制设计,替代Git Bash/WSL的生产级方案。
Rust
Windows
Coreutils
uutils
GNUCoreutils
Build2026
Khazix Skills 深度解析:当「数字生命卡兹克」把压箱底的 AI Skills 一字不改开源出来
编程
Khazix Skills 深度解析:当「数字生命卡兹克」把压箱底的 AI Skills 一字不改开源出来
2026-04-10 00:44:17 +0800 CST
view 1844
数字生命卡兹克开源的 AI Skills 合集,支持 Claude Code、OpenClaw、Codex 三大平台,包含写作、代码、研究等核心 Skill,实用主义风格,真实生产环境验证。
AI Skills
Khazix
数字生命卡兹克
Agent Skills
开源
TypeScript 7 深度解析:Go原生编译器Project Corsa——10倍性能飙升背后的架构革命与前端工具链原生化浪潮
编程
TypeScript 7 深度解析:Go原生编译器Project Corsa——10倍性能飙升背后的架构革命与前端工具链原生化浪潮
2026-07-05 21:46:03 +0800 CST
view 29
深度解析TypeScript 7(Project Corsa)用Go重写编译器的架构革命:10倍编译速度提升、8倍编辑器启动加速、Arena内存分配器、零拷贝解析、LSP迁移、与Rust/C++的选型对比、迁移实战指南与前端工具链原生化趋势分析。
TypeScript
Go
编译器
Project Corsa
原生化
前端工具链
性能优化
tsgo
LSP
Anders Hejlsberg
微软 Windows 11 原生 Coreutils 深度解析:用 Rust 重写 GNU 命令行工具链的工程革命
编程
微软 Windows 11 原生 Coreutils 深度解析:用 Rust 重写 GNU 命令行工具链的工程革命
2026-06-03 10:48:18 +0800 CST
view 540
2026年6月微软Build大会上发布的Windows 11 Coreutils深度解析,深入剖析uutils项目架构设计、微软工程决策、性能对比及对整个生态的影响。
Rust
Windows
Coreutils
uutils
命令行
系统工具
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
7
下一页