程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 31
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
SwanLab 深度实战:当国产开源 AI 训练跟踪工具遇见 W&B 替代方案——从 PyTorch 全链路监控到私有化部署、从硬件感知到多框架集成的生产级完全指南(2026)
编程
SwanLab 深度实战:当国产开源 AI 训练跟踪工具遇见 W&B 替代方案——从 PyTorch 全链路监控到私有化部署、从硬件感知到多框架集成的生产级完全指南(2026)
2026-06-21 18:24:22 +0800 CST
view 195
深度解析 SwanLab——国产开源 AI 训练跟踪工具,对标 W&B 和 MLflow。涵盖架构设计、PyTorch/Transformers/LLaMA Factory 集成、硬件全链路监控、实验对比、私有化部署(Docker/K8s)、SDK v0.8.0 性能优化等内容。
SwanLab
AI训练
PyTorch
W&B替代
MLflow
实验跟踪
硬件监控
私有化部署
里程碑!AI Agent 现在可以自己注册账号、购买域名、部署上线了
案例
里程碑!AI Agent 现在可以自己注册账号、购买域名、部署上线了
2026-05-04 07:37:15 +0800 CST
view 424
Cloudflare与Stripe合作推出Stripe Projects,让AI Agent可以自动完成账号创建、域名购买和应用部署,无需人工介入,标志着Agent能力边界的重要突破
Cloudflare
Stripe
AI Agent
自动化部署
无服务器
DevOps
oh-my-claudecode 深度实战:让 Claude Code 从"写代码"到"能交付"——2026 年多智能体编排完全指南
编程
oh-my-claudecode 深度实战:让 Claude Code 从"写代码"到"能交付"——2026 年多智能体编排完全指南
2026-05-26 16:07:56 +0800 CST
view 395
深入剖析 oh-my-claudecode 的四层架构(Hooks、Skills、Agents、State),详解模型路由策略,并通过完整实战案例展示从需求到部署的全生命周期编排。
AI编程
Claude Code
多智能体
Agent编排
自动化部署
科大讯飞开源SkillHub:企业级智能体技能注册中心
案例
科大讯飞开源SkillHub:企业级智能体技能注册中心
2026-05-06 07:34:11 +0800 CST
view 482
科大讯飞开源SkillHub企业级智能体技能注册中心,自托管私有化部署,支持发布/发现/管理技能包,RBAC权限控制,两级审核治理,完整审计日志,Java 21 + React 19 + PostgreSQL 16技术栈
AI Agent
Skill Registry
企业级
讯飞开源
技能管理
Rbac
私有化部署
AI-CS:开源AI智能客服系统,AI+人工一体、支持私有化部署
编程
AI-CS:开源AI智能客服系统,AI+人工一体、支持私有化部署
2026-05-14 07:02:13 +0800 CST
view 446
AI-CS是一款MIT协议开源的AI智能客服系统,Go+Next.js全栈架构,内置RAG知识库检索、多模型管理、实时草稿共享、数据报表和SEO官网,支持私有化部署,三步即可跑通。
AI客服
开源项目
Go
Next.js
RAG
私有化部署
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 500
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
【深度长文】agency-agents 深度解析:140+ 专业AI专家角色库——从角色定义规范到多Agent协作、从Claude Code集成到生产级团队搭建的完整技术指南(2026)
编程
【深度长文】agency-agents 深度解析:140+ 专业AI专家角色库——从角色定义规范到多Agent协作、从Claude Code集成到生产级团队搭建的完整技术指南(2026)
2026-07-04 05:12:12 +0800 CST
view 138
深度解析agency-agents(The Agency)核心架构、角色定义规范、多Agent协作机制、与Claude Code/Cursor的集成实战、生产级部署指南,助你快速搭建专业AI团队。
agency-agents
AI Agent
多Agent协作
Claude Code
专业角色库
AI助手
零部署成本
生产级部署
agency-agents 深度解析:140+ 专业AI专家角色库——零部署成本的多Agent协作框架与生产级部署指南(2026)
编程
agency-agents 深度解析:140+ 专业AI专家角色库——零部署成本的多Agent协作框架与生产级部署指南(2026)
2026-07-04 05:13:29 +0800 CST
view 153
深度解析agency-agents(The Agency)核心架构、角色定义规范、多Agent协作机制、与Claude Code/Cursor的集成实战、生产级部署指南,助你快速搭建专业AI团队。
agency-agents
AI Agent
多Agent协作
Claude Code
专业角色库
AI助手
零部署成本
生产级部署
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
编程
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31 +0800 CST
view 697
深度对比vLLM与TensorRT-LLM两大LLM推理框架,从PagedAttention到Kernel Fusion,从量化技术到生产部署,助你做出正确的技术选型决策
LLM
vLLM
TensorRT-LLM
推理优化
大模型部署
量化技术
AI工程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 1734
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
编程
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
2026-04-12 22:56:41 +0800 CST
view 820
2026年深度解析 llama.cpp 架构设计与 GGUF 量化格式,从底层原理到工程实战,涵盖 K-Quant/IQ 量化、Flash Attention、KV Cache 优化、Intel NPU/GPU 部署全流程。
llama.cpp
GGUF
量化
大模型
C++
本地部署
嵌入式AI模型部署实战:从服务器到Arduino的模型压缩与优化指南
编程
嵌入式AI模型部署实战:从服务器到Arduino的模型压缩与优化指南
2026-05-13 17:55:43 +0800 CST
view 403
本文详细介绍如何将训练好的神经网络部署到Arduino、树莓派等嵌入式设备,涵盖模型量化、剪枝、知识蒸馏三大压缩技术,以及不同硬件平台的部署方案和实战经验。
嵌入式AI
模型部署
神经网络压缩
Arduino
树莓派
模型量化
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 194
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
编程
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
2026-06-20 01:25:22 +0800 CST
view 371
Ollama本地大模型生产级部署完全指南:从GGUF格式原理、INT4/INT8量化实战、REST API集成、多语言SDK(Python/Go/TypeScript)、GPU显存管理、Kubernetes+Helm生产部署、性能调优到RAG知识库构建,全流程深度实战。
Ollama
本地大模型
LLM部署
模型量化
GGUF
llama.cpp
REST API
Kubernetes
GPU
RAG
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
编程
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
2026-05-15 17:47:40 +0800 CST
view 612
深入解析 antirez(Redis 作者)新开源项目 ds4:DwarfStar 4 本地推理引擎,专门为 DeepSeek V4 Flash 打造,支持 Metal/CUDA 后端,2-bit 量化可在 96GB 内存 MacBook 上运行 284B 参数模型。
AI推理
本地部署
DeepSeek
Redis
Apple Silicon
CUDA
Metal
MoE
量化
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
编程
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
2026-06-10 01:20:57 +0800 CST
view 397
2026年Ollama本地大模型部署完全指南:从架构原理、GGUF量化、ModelFile自定义、多语言集成(Python/JS/Go)、RAG实战到Docker/K8s生产部署,8500字深度长文。
Ollama
本地部署
大模型
LLM
生产级
GGUF
量化
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 428
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
AI量化交易多智能体框架深度解析:从TradingAgents到Qlib,一场颠覆传统量化投资的技术革命
编程
AI量化交易多智能体框架深度解析:从TradingAgents到Qlib,一场颠覆传统量化投资的技术革命
2026-04-22 02:49:55 +0800 CST
view 807
深入剖析TradingAgents、Qlib、VeighNa三大AI量化交易框架的技术架构与实战方法,从多智能体协作到工业级部署,一篇搞定AI量化的核心技术与最佳实践。
AI量化交易
多智能体
TradingAgents
Qlib
VeighNa
Python
量化投资
LLM
TradingAgents-CN 深度实战:当 AI 多智能体遇上量化交易——从架构原理到 A 股智能决策的完全指南(2026)
编程
TradingAgents-CN 深度实战:当 AI 多智能体遇上量化交易——从架构原理到 A 股智能决策的完全指南(2026)
2026-06-10 03:50:20 +0800 CST
view 434
深入解析 TradingAgents-CN 的核心架构、多智能体协作机制、A 股本地化适配方案,从零搭建生产级 AI 量化交易系统。
AI量化交易
多智能体系统
TradingAgents
量化交易
金融AI
Vibe-Trading 深度解析:HKUDS 开源 AI 量化交易 Agent——从自然语言到可执行策略、从多智能体架构到生产级部署的完整技术指南(2026)
编程
Vibe-Trading 深度解析:HKUDS 开源 AI 量化交易 Agent——从自然语言到可执行策略、从多智能体架构到生产级部署的完整技术指南(2026)
2026-07-04 17:12:17 +0800 CST
view 177
深度解析 HKUDS Vibe-Trading:AI 驱动的量化交易 Agent,支持自然语言驱动的策略研究、69+ 金融技能、16 通道 IM 消息、多智能体协作、Alpha Zoo 因子库,从架构原理到代码实战的完整技术指南。
Vibe-Trading
AI量化交易
多智能体
量化投资
开源
Python
LLM Agent
ReAct
因子研究
A股
FastAPI
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 256
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
45+在线图片工具+REST API+AI修图:SnapOtter让NAS秒变个人图片处理中心
编程
45+在线图片工具+REST API+AI修图:SnapOtter让NAS秒变个人图片处理中心
2026-04-28 18:27:20 +0800 CST
view 709
基于Docker的自托管图片编辑器SnapOtter:45+工具、REST API接入AI Agent、本地AI修图(OCR/背景移除/高清化)、数据永久存NAS。海康智存部署教程。
Docker
NAS
图片处理
AI修图
本地部署
REST API
OpenClaw
Hermes
Go Fiber v3 深度实战:当 Express 风格遇上 Go 高性能——从零基础到生产级 Web 开发的完全指南(2026)
编程
Go Fiber v3 深度实战:当 Express 风格遇上 Go 高性能——从零基础到生产级 Web 开发的完全指南(2026)
2026-06-11 02:16:42 +0800 CST
view 264
Go Fiber v3 深度实战教程,从零开始构建生产级 Web 应用,涵盖路由系统、中间件、数据库集成、性能优化和容器化部署
Go Fiber v3
Go Web 框架
Express 风格
高性能 Web 开发
生产级部署
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
6
下一页