程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
GQA 相关技术文章
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
把模型和运行时打成一个文件:goinfer 用纯 Go 跑 LLM 推理
编程
把模型和运行时打成一个文件:goinfer 用纯 Go 跑 LLM 推理
2026-09-25 21:05:23
goinfer 把模型权重和推理运行时打进同一个文件,用纯 Go 跑 LLM 推理,不依赖 Python、llama.cpp 或 CUDA 工具链。本文整理项目地址、Go 1.27+ 构建命令、goinstall 带 CUDA/Metal 后端的方式、支持的模型与量化家族、OpenAI/Anthropic 兼容端点,以及 Pre-1.0 阶段加载器接口仍在变动的限制。
Go
LLM
推理
开源项目
GGUF
GQA
Gemma 4 架构解密:MoE 路由 × GQA 注意力 × Thinking Mode——31B 如何击败 20 倍参数对手
编程
Gemma 4 架构解密:MoE 路由 × GQA 注意力 × Thinking Mode——31B 如何击败 20 倍参数对手
2026-04-19 17:47:49
深入解析 Google Gemma 4 的核心技术架构:MoE 稀疏专家路由、GQA 分组查询注意力、PLE 逐层嵌入、Thinking Mode 推理机制,详解 31B 模型如何以小博大击败 20 倍参数对手,附全场景部署实战代码。
Gemma
Google
AI
开源大模型
MoE
GQA
Transformer
深度学习
模型架构
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调