程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
嵌入式AI模型部署实战:从服务器到Arduino的模型压缩与优化指南
编程
嵌入式AI模型部署实战:从服务器到Arduino的模型压缩与优化指南
2026-05-13 17:55:43 +0800 CST
view 706
本文详细介绍如何将训练好的神经网络部署到Arduino、树莓派等嵌入式设备,涵盖模型量化、剪枝、知识蒸馏三大压缩技术,以及不同硬件平台的部署方案和实战经验。
嵌入式AI
模型部署
神经网络压缩
Arduino
树莓派
模型量化
Qwen3.8-27B 深度实战:270亿参数如何把「多模态+长上下文+编程能力」塞进家用显卡——从 Dense 架构原理到本地部署全链路拆解
编程
Qwen3.8-27B 深度实战:270亿参数如何把「多模态+长上下文+编程能力」塞进家用显卡——从 Dense 架构原理到本地部署全链路拆解
2026-08-16 11:15:36 +0800 CST
view 505
深度拆解阿里Qwen3.8-27B:270亿参数原生多模态稠密模型,262K原生上下文可扩展至100万tokens,编程能力超越Qwen3.7-Plus。从Dense架构原理、混合注意力、YaRN外推、reasoning_effort机制,到INT4量化部署、KV Cache优化、vLLM推理加速、生产级FastAPI部署,配完整代码实战与性能对比数据。
Qwen3.8-27B
多模态模型
Dense架构
长上下文
本地部署
量化优化
编程能力
推理引擎
OpenVINO 2026.3 深度拆解:从 MoE 磁盘卸载到 FP8 量化,Intel 的端侧 AI 推理全家桶又升级了
编程
OpenVINO 2026.3 深度拆解:从 MoE 磁盘卸载到 FP8 量化,Intel 的端侧 AI 推理全家桶又升级了
2026-08-10 11:46:27 +0800 CST
view 212
深度拆解 Intel OpenVINO 2026.3 四大核心更新:MoE 磁盘卸载让 300B 模型跑在 16GB 机器上、Linux 懒加载消除权重复制、FP8 量化新能力、三条 GenAI 新流水线,配完整代码实战与性能数据对比
OpenVINO
Intel
AI推理
MoE
FP8量化
端侧部署
NNCF
LLM
CPU推理
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 426
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
编程
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
2026-06-20 01:25:22 +0800 CST
view 771
Ollama本地大模型生产级部署完全指南:从GGUF格式原理、INT4/INT8量化实战、REST API集成、多语言SDK(Python/Go/TypeScript)、GPU显存管理、Kubernetes+Helm生产部署、性能调优到RAG知识库构建,全流程深度实战。
Ollama
本地大模型
LLM部署
模型量化
GGUF
llama.cpp
REST API
Kubernetes
GPU
RAG
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
编程
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
2026-05-15 17:47:40 +0800 CST
view 1055
深入解析 antirez(Redis 作者)新开源项目 ds4:DwarfStar 4 本地推理引擎,专门为 DeepSeek V4 Flash 打造,支持 Metal/CUDA 后端,2-bit 量化可在 96GB 内存 MacBook 上运行 284B 参数模型。
AI推理
本地部署
DeepSeek
Redis
Apple Silicon
CUDA
Metal
MoE
量化
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
编程
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
2026-06-10 01:20:57 +0800 CST
view 828
2026年Ollama本地大模型部署完全指南:从架构原理、GGUF量化、ModelFile自定义、多语言集成(Python/JS/Go)、RAG实战到Docker/K8s生产部署,8500字深度长文。
Ollama
本地部署
大模型
LLM
生产级
GGUF
量化
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 783
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
AI量化交易多智能体框架深度解析:从TradingAgents到Qlib,一场颠覆传统量化投资的技术革命
编程
AI量化交易多智能体框架深度解析:从TradingAgents到Qlib,一场颠覆传统量化投资的技术革命
2026-04-22 02:49:55 +0800 CST
view 1209
深入剖析TradingAgents、Qlib、VeighNa三大AI量化交易框架的技术架构与实战方法,从多智能体协作到工业级部署,一篇搞定AI量化的核心技术与最佳实践。
AI量化交易
多智能体
TradingAgents
Qlib
VeighNa
Python
量化投资
LLM
TradingAgents-CN 深度实战:当 AI 多智能体遇上量化交易——从架构原理到 A 股智能决策的完全指南(2026)
编程
TradingAgents-CN 深度实战:当 AI 多智能体遇上量化交易——从架构原理到 A 股智能决策的完全指南(2026)
2026-06-10 03:50:20 +0800 CST
view 857
深入解析 TradingAgents-CN 的核心架构、多智能体协作机制、A 股本地化适配方案,从零搭建生产级 AI 量化交易系统。
AI量化交易
多智能体系统
TradingAgents
量化交易
金融AI
Vibe-Trading 深度解析:HKUDS 开源 AI 量化交易 Agent——从自然语言到可执行策略、从多智能体架构到生产级部署的完整技术指南(2026)
编程
Vibe-Trading 深度解析:HKUDS 开源 AI 量化交易 Agent——从自然语言到可执行策略、从多智能体架构到生产级部署的完整技术指南(2026)
2026-07-04 17:12:17 +0800 CST
view 820
深度解析 HKUDS Vibe-Trading:AI 驱动的量化交易 Agent,支持自然语言驱动的策略研究、69+ 金融技能、16 通道 IM 消息、多智能体协作、Alpha Zoo 因子库,从架构原理到代码实战的完整技术指南。
Vibe-Trading
AI量化交易
多智能体
量化投资
开源
Python
LLM Agent
ReAct
因子研究
A股
FastAPI
OpenSpace 深度拆解:AI Agent 为什么需要技能管理层——从检索、评估到演化机制的全链路实战
编程
OpenSpace 深度拆解:AI Agent 为什么需要技能管理层——从检索、评估到演化机制的全链路实战
2026-08-18 22:15:22 +0800 CST
view 120
深度拆解OpenSpace技能管理层:四层架构设计(检索引擎、评估引擎、执行监控器、演化引擎)、完整Python代码实战、生产级Docker Compose部署方案,解决AI Agent技能泛滥导致的任务不稳定问题
AI Agent
Skill Management
技能管理
混合检索
多维评估
演化引擎
执行监控
生产部署
OpenSpace
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 616
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
Dify v1.15.0 深度解析:difyctl CLI + 思维链可视化,手把手打造生产级 LLM 应用编排引擎
编程
Dify v1.15.0 深度解析:difyctl CLI + 思维链可视化,手把手打造生产级 LLM 应用编排引擎
2026-07-10 18:17:23 +0800 CST
view 719
深度解析 Dify v1.15.0 三大核心更新:difyctl CLI 将 AI 应用纳入 GitOps 管理,思维链可视化让 LLM 推理透明可追溯,慢模型轮询机制解决质量与速度的两难。附完整代码示例与生产部署指南。
Dify
LLM应用
工作流编排
difyctl
思维链可视化
Agent
RAG
GitOps
Kubernetes
生产部署
45+在线图片工具+REST API+AI修图:SnapOtter让NAS秒变个人图片处理中心
编程
45+在线图片工具+REST API+AI修图:SnapOtter让NAS秒变个人图片处理中心
2026-04-28 18:27:20 +0800 CST
view 1200
基于Docker的自托管图片编辑器SnapOtter:45+工具、REST API接入AI Agent、本地AI修图(OCR/背景移除/高清化)、数据永久存NAS。海康智存部署教程。
Docker
NAS
图片处理
AI修图
本地部署
REST API
OpenClaw
Hermes
Go Fiber v3 深度实战:当 Express 风格遇上 Go 高性能——从零基础到生产级 Web 开发的完全指南(2026)
编程
Go Fiber v3 深度实战:当 Express 风格遇上 Go 高性能——从零基础到生产级 Web 开发的完全指南(2026)
2026-06-11 02:16:42 +0800 CST
view 534
Go Fiber v3 深度实战教程,从零开始构建生产级 Web 应用,涵盖路由系统、中间件、数据库集成、性能优化和容器化部署
Go Fiber v3
Go Web 框架
Express 风格
高性能 Web 开发
生产级部署
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 642
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 196
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 1005
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
MCP 2026-07-28 深度拆解:当 Anthropic 决定「干掉 MCP 的全部会话状态」——从有状态双连接到无状态请求响应,一个 18 个月的协议如何被彻底重写为企业级 AI 工具总线
编程
MCP 2026-07-28 深度拆解:当 Anthropic 决定「干掉 MCP 的全部会话状态」——从有状态双连接到无状态请求响应,一个 18 个月的协议如何被彻底重写为企业级 AI 工具总线
2026-08-04 19:47:29 +0800 CST
view 438
深度拆解MCP 2026-07-28第5版规范:从有状态双连接全面转向无状态架构的核心变革,Streamable HTTP传输层、基于请求头路由、可缓存列表结果、MCP Apps与Tasks扩展框架、OAuth 2.0企业级安全,附完整生产级代码示例与迁移指南
MCP
Model Context Protocol
无状态架构
AI工具集成
Anthropic
Streamable HTTP
OAuth 2.0
企业级部署
大模型推理框架 2026 终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构内核、性能基准到成本防线的生产级全景解析
编程
大模型推理框架 2026 终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构内核、性能基准到成本防线的生产级全景解析
2026-07-11 13:14:24 +0800 CST
view 416
深度拆解2026年四大主流LLM推理框架(vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9)的技术内核,通过统一性能基准测试,量化对比吞吐量、延迟、成本等核心指标,提供不同场景的技术选型建议和实战代码示例。
大模型
推理优化
vLLM
TensorRT
性能调优
成本控制
生产部署
OpenClaw 深度解析:重塑个人 AI 助手范式的开源架构革命——从 Gateway 到 Skill 生态的全链路技术拆解
编程
OpenClaw 深度解析:重塑个人 AI 助手范式的开源架构革命——从 Gateway 到 Skill 生态的全链路技术拆解
2026-06-30 03:44:16 +0800 CST
view 673
深度解析OpenClaw个人AI助手框架:从Gateway控制面、多通道消息路由、Skill技能生态、MCP协议集成、安全模型、会话管理到生产级部署,附完整代码示例与架构决策分析。
OpenClaw
个人AI助手
开源AI
AI Agent
MCP协议
Gateway架构
Skill生态
多通道接入
本地部署
AI自动化
OpenVINO 2026.3 深度拆解:从推理工具到「让大模型在 16GB 内存跑起来」的工程实践完全指南
编程
OpenVINO 2026.3 深度拆解:从推理工具到「让大模型在 16GB 内存跑起来」的工程实践完全指南
2026-08-13 08:43:23 +0800 CST
view 164
深度拆解OpenVINO 2026.3:磁盘卸载让300亿MoE模型在16GB内存运行、懒加载权重降低内存峰值、HuggingFace Transformers 5.5兼容、GenAI新流水线、EAGLE-3推测解码扩展,配完整Python/C++代码示例与15条生产踩坑清单。
OpenVINO
AI推理
Intel
深度学习
模型部署
CPU推理
GPU推理
MoE
磁盘卸载
大模型
Qwen3.8-2.4T-A95B 首次开源:从 2.4 万亿参数旗舰到本地部署,2026 年最重磅开发者事件深度解析
编程
Qwen3.8-2.4T-A95B 首次开源:从 2.4 万亿参数旗舰到本地部署,2026 年最重磅开发者事件深度解析
2026-08-13 09:52:01 +0800 CST
view 189
2026年8月13日阿里Qwen团队正式开放Qwen3.8-2.4T-A95B模型权重,这是Qwen-Max级别旗舰首次开源。本文从技术原理、MoE架构、上下文扩展、双协议兼容、性能对比、本地部署门槛、生产踩坑清单六个维度深度解析这一2026年最重磅开发者事件。
Qwen3.8
2.4T参数
MoE架构
开源权重
本地部署
稀疏混合专家
AI大模型
国产大模型
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
12
下一页