程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
OpenVINO 2026.3 深度拆解:从 MoE 磁盘卸载到 FP8 量化,Intel 的端侧 AI 推理全家桶又升级了
编程
OpenVINO 2026.3 深度拆解:从 MoE 磁盘卸载到 FP8 量化,Intel 的端侧 AI 推理全家桶又升级了
2026-08-10 11:46:27 +0800 CST
view 8
深度拆解 Intel OpenVINO 2026.3 四大核心更新:MoE 磁盘卸载让 300B 模型跑在 16GB 机器上、Linux 懒加载消除权重复制、FP8 量化新能力、三条 GenAI 新流水线,配完整代码实战与性能数据对比
OpenVINO
Intel
AI推理
MoE
FP8量化
端侧部署
NNCF
LLM
CPU推理
Google AI Edge Gallery 深度拆解:当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌(2026)
编程
Google AI Edge Gallery 深度拆解:当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌(2026)
2026-07-18 12:44:38 +0800 CST
view 241
深度拆解 Google AI Edge Gallery 开源项目:LiteRT 推理引擎架构、INT4 量化原理、多模态支持、模型转换实战、企业级落地场景,配完整 Kotlin 代码示例与性能优化指南。
Google AI Edge Gallery
LiteRT
端侧AI
大模型
Android
量化
多模态
离线推理
移动端部署
GenAI
Coolify 深度拆解:一个 44K Star 的开源 PaaS 如何用 Laravel + Docker + SSH 重新定义「自托管部署」——从 Heroku 替代品到 280+ 一键服务的全栈架构哲学
编程
Coolify 深度拆解:一个 44K Star 的开源 PaaS 如何用 Laravel + Docker + SSH 重新定义「自托管部署」——从 Heroku 替代品到 280+ 一键服务的全栈架构哲学
2026-08-03 15:45:07 +0800 CST
view 115
深度拆解Coolify 44K Star开源PaaS架构:Laravel+Docker+SSH远程执行引擎、Traefik动态反向代理、Nixpacks自动构建、280+一键服务生态,附完整部署代码示例与性能优化实战指南
Coolify
开源PaaS
自托管
Vercel替代
Docker部署
Laravel
SSH远程管理
CI/CD
容器化部署
一键部署
Google AI Edge Gallery:手机离线跑大模型时代来了,2.2万Star端侧AI神器
案例
Google AI Edge Gallery:手机离线跑大模型时代来了,2.2万Star端侧AI神器
2026-05-09 07:36:45 +0800 CST
view 1152
Google开源AI神器AI Edge Gallery斩获2.2万Star,支持iOS和Android手机离线运行Gemma 4等大模型,提供AI Chat、Ask Image、Audio Scribe、Agent Skills四大功能,消费级入口形态让普通用户轻松体验端侧AI
端侧AI
手机大模型
离线推理
Gemma 4
Google开源
iOS
Android
BitNet 深度拆解:当大模型被压到 1.58 bit——从三元权重、BitLinear 到 bitnet.cpp 的端侧推理革命(2026)
编程
BitNet 深度拆解:当大模型被压到 1.58 bit——从三元权重、BitLinear 到 bitnet.cpp 的端侧推理革命(2026)
2026-07-17 14:24:55 +0800 CST
view 312
深度拆解微软 BitNet:1.58-bit 三值量化、Absmean/Absmax、BitLinear、bitnet.cpp 子矩阵内核,附 PyTorch 手写实现与 CPU 端侧推理性能实测。
BitNet
1-bit LLM
大模型推理
模型量化
端侧AI
bitnet.cpp
llama.cpp 深度实战:当端侧 LLM 成为生产级事实标准——从 GGUF 量化到跨平台部署的完全指南(2026)
编程
llama.cpp 深度实战:当端侧 LLM 成为生产级事实标准——从 GGUF 量化到跨平台部署的完全指南(2026)
2026-06-11 00:19:05 +0800 CST
view 540
全面解析 llama.cpp 推理引擎,从 GGUF 格式、量化原理、架构设计到跨平台部署,提供生产级代码实战和性能优化指南。
llama.cpp
GGUF
量化
端侧推理
大语言模型
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
编程
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39 +0800 CST
view 1096
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构:分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比,提供生产级部署实战指南。
Google
端侧AI
LiteRT-LM
WebGPU
量化
KV Cache
TensorFlow Lite
LLM推理
MiniCPM-o 2.6 深度解析:8B参数如何在iPad上跑出GPT-4o级全模态性能——端侧多模态大模型的工程化突破
编程
MiniCPM-o 2.6 深度解析:8B参数如何在iPad上跑出GPT-4o级全模态性能——端侧多模态大模型的工程化突破
2026-05-11 01:50:57 +0800 CST
view 753
深入解析MiniCPM-o 2.6:8B参数如何在iPad上实现GPT-4o级全模态性能,时分复用TDM机制、端到端架构、低延迟并发处理的技术内幕,附完整部署代码和性能优化实战
AI,MiniCPM,多模态,端侧模型,面壁智能
2026年端侧AI千亿参数突破深度解析:从量化技术到NPU架构,手机如何跑赢云端大模型
编程
2026年端侧AI千亿参数突破深度解析:从量化技术到NPU架构,手机如何跑赢云端大模型
2026-04-22 03:52:11 +0800 CST
view 859
深度解析2026年端侧AI千亿参数突破的技术原理:从INT4量化到MoE架构,从存算一体NPU到动态内存优化,揭示手机如何跑赢云端大模型的核心工程密码。
AI
端侧AI
大模型
量化
NPU
Google AI Edge Gallery 深度实战:让 Mac/Android 离线运行 Gemma 3——从原理到生产级本地 AI 部署完全指南(2026)
编程
Google AI Edge Gallery 深度实战:让 Mac/Android 离线运行 Gemma 3——从原理到生产级本地 AI 部署完全指南(2026)
2026-06-04 21:14:37 +0800 CST
view 523
深入剖析 Google AI Edge Gallery 的技术架构、Gemma 模型家族、端侧部署全流程,并通过完整代码示例,带你从零构建一个生产级本地 AI 应用。
Google AI Edge Gallery
本地AI
Gemma模型
端侧推理
Mac AI
Android AI
Moonshine 深度解剖:比 Whisper 快 5 倍的端侧语音识别引擎——变长音频、卷积前端、RoPE 与实时流式 ASR 工程实战
编程
Moonshine 深度解剖:比 Whisper 快 5 倍的端侧语音识别引擎——变长音频、卷积前端、RoPE 与实时流式 ASR 工程实战
2026-07-26 01:44:11 +0800 CST
view 170
深度拆解 Moonshine 端侧语音识别引擎:为何扔掉梅尔频谱与30秒定长、直接吃原始波形按变长计算,配合卷积前端与RoPE做到比Whisper快5倍、体积仅27MB。含Python/ONNX推理、Silero VAD实时流式管线、int8量化与端侧部署优化Checklist。
Moonshine
语音识别
ASR
端侧AI
Whisper
流式识别
ONNX
RoPE
模型量化
边缘计算
MiniCPM-V 4.6:参数砍到1.3B,多模态小钢炮拿下同级第一
编程
MiniCPM-V 4.6:参数砍到1.3B,多模态小钢炮拿下同级第一
2026-05-13 17:38:45 +0800 CST
view 784
面壁智能发布MiniCPM-V 4.6,参数量仅1.3B,1B级多模态评测第一。仅用Qwen3.5-0.8B的2.5%token量即超越对方。LLaVA-UHD v4架构创新,视觉编码运算量降低55.8%,手机断网秒级响应。
MiniCPM-V
面壁智能
多模态
端侧AI
密度定律
MiniCPM-V 4.6 手机实测:1.3B参数跑满端侧推理,输入框还没缩回结果就出来了
编程
MiniCPM-V 4.6 手机实测:1.3B参数跑满端侧推理,输入框还没缩回结果就出来了
2026-05-13 17:56:16 +0800 CST
view 685
MiniCPM-V 4.6手机实测体验:输入框还没缩回结果就出来了。1.3B参数推理版token消耗仅为Qwen3.5-0.8B的1/43,TTFT高清大图75.7ms快2.2倍,LLaVA-UHD v4架构视觉编码运算量降低55.8%。
MiniCPM-V
面壁智能
端侧AI
手机AI
多模态
端侧大模型深度解析:当AI走出云端、住进你的手机——从千亿参数到4B模型的边缘智能革命
编程
端侧大模型深度解析:当AI走出云端、住进你的手机——从千亿参数到4B模型的边缘智能革命
2026-04-15 21:23:26 +0800 CST
view 668
2026年端侧大模型技术深度解析:从千亿参数云端模型到4B端侧模型的工程革命,涵盖量化、蒸馏、架构优化与Mano-P实战案例
端侧大模型
边缘AI
模型量化
知识蒸馏
Mano-P
GUI智能体
TinyML
AI手机
WebNN + WebGPU + WASM 三端融合:2026年浏览器端AI推理的终极架构——从零构建生产级推理引擎
编程
WebNN + WebGPU + WASM 三端融合:2026年浏览器端AI推理的终极架构——从零构建生产级推理引擎
2026-06-27 07:12:19 +0800 CST
view 469
2026年WebNN、WebGPU、WASM三端融合的浏览器端AI推理架构深度实战。从环境探测、模型加载、推理执行到性能优化,完整代码实现生产级推理引擎。
WebNN
WebGPU
WASM
浏览器AI推理
ONNX Runtime
NPU加速
端侧推理
1.58-bit 大模型极限量化实战:从 BitNet 三值权重到单颗 CPU 跑起 100B 模型
编程
1.58-bit 大模型极限量化实战:从 BitNet 三值权重到单颗 CPU 跑起 100B 模型
2026-07-21 16:20:29 +0800 CST
view 211
2026极限量化实战:BitNet三值权重、absmean/absmax量化、BitLinear实现、带宽数学与bitnet.cpp内核优化,单CPU跑100B模型。
BitNet
1.58-bit
大模型量化
LLM
端侧推理
bitnet.cpp
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 588
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
当 WASM 遇上 WebGPU:浏览器端 AI 推理的第三次革命——用 Web 技术重写本地智能的心智模型
编程
当 WASM 遇上 WebGPU:浏览器端 AI 推理的第三次革命——用 Web 技术重写本地智能的心智模型
2026-07-15 14:17:19 +0800 CST
view 289
深度拆解 2026 年 WebGPU、WASM 与 WebNN 融合技术:三层计算模型、WGSL 编写、GEMM 量化推理、KV Cache、算子融合,配完整代码与性能基准。
WebGPU
WASM
WebNN
浏览器AI
WGSL
端侧推理
WebLLM
前端工程化
Mano-P + Cider:4B模型本地操控Mac,端侧GUI Agent新时代
案例
Mano-P + Cider:4B模型本地操控Mac,端侧GUI Agent新时代
2026-05-07 13:34:32 +0800 CST
view 563
明略科技开源Mano-P(4B量化模型本地操控Mac)和Cider(MLX推理加速框架)。476 tokens/s预填充,76 tokens/s解码,峰值内存4.3GB,完全本地运行数据不出设备,离线长任务自主规划
GUI Agent
端侧AI
Apple Silicon
MLX
视觉理解
本地运行
Mano-P
Cider
WiFi 感知革命:RuView 如何用 9 美元的 ESP32 实现「透视眼」——CSI 空间智能完全指南(2026)
编程
WiFi 感知革命:RuView 如何用 9 美元的 ESP32 实现「透视眼」——CSI 空间智能完全指南(2026)
2026-05-30 17:44:37 +0800 CST
view 739
深度解析 GitHub 68K Star 开源项目 RuView,从物理层原理到 Rust 工程实现,完整拆解 $9 ESP32 如何实现穿墙感知、呼吸心率监测、姿态估计的 CSI 空间智能系统
ESP32
WiFi CSI
空间感知
Rust
Candle
端侧AI
智能家居
无接触监测
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
编程
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
2026-08-03 10:45:17 +0800 CST
view 224
深度拆解llama.cpp四大核心架构:GGUF模型格式设计、GGML计算引擎、8种多后端抽象层、K-Quant/I-Quant量化技术体系,附完整代码示例与性能基准测试
llama.cpp
GGUF
GGML
量化
端侧推理
LLM
C++
推理引擎
多后端
K-Quant
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 306
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
编程
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
2026-06-16 01:17:28 +0800 CST
view 791
llama.cpp 是端侧 LLM 推理的事实标准(180K+ Stars)。本文从源码架构、GGUF 格式、量化方法、跨平台后端、生产部署、性能优化到 DeepSeek V4 Flash 实战,全方位讲解本地 AI 推理。
llama.cpp
GGUF
量化
端侧推理
本地AI
C/C++
Apple Silicon
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 697
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
5
下一页