程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 202
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
2026-06-05 04:13:34 +0800 CST
view 436
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
2026-06-05 04:13:52 +0800 CST
view 567
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
编程
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
2026-05-05 19:01:32 +0800 CST
view 1177
深度解析 vLLM 2026年第二季度技术路线图,涵盖 v1 架构核心设计、九大 SIG 技术演进方向、生产级部署实战经验。
vLLM
LLM推理
架构设计
性能优化
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
编程
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
2026-07-20 18:18:40 +0800 CST
view 204
深度拆解 Ollama 工程架构:Go 服务层封装 llama.cpp、CGO 内存边界、GGUF 量化格式、Modelfile DSL、OpenAI 兼容层、Metal GPU 加速与生产部署实战,配完整 Go/Python/Shell 代码示例。
Ollama
本地大模型
llama.cpp
GGUF
Go
CGO
量化
Apple Silicon
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
编程
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
2026-07-02 13:46:08 +0800 CST
view 298
深度解析 LMCache 开源 KV Cache 管理层项目:从三层存储架构、多后端支持、Disaggregated Prefill、CacheBlend、Segmented Prefill、P2P 共享到 Kubernetes 生产级部署的完整技术指南,含性能基准测试与代码实战
LMCache
KV Cache
LLM
vLLM
分布式
RDMA
Kubernetes
推理优化
Redis
NIXL
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 625
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 220
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
Nushell 深度实战:30K Star 的结构化数据 Shell——从类型系统到插件架构的生产级全链路解析
编程
Nushell 深度实战:30K Star 的结构化数据 Shell——从类型系统到插件架构的生产级全链路解析
2026-05-07 00:37:06 +0800 CST
view 640
深度解析 Nushell 的类型系统、结构化数据管道、Rust 多 Crate 架构、插件机制和生产实践,从 Bash 迁移到 Nu 的全链路实战指南
Nushell
Rust
Shell
结构化数据
管道
插件系统
类型系统
DevOps
AI 生成界面为什么总是样板间? taste-skill 如何用 SKILL.md 教 AI 学会设计品味
编程
AI 生成界面为什么总是样板间? taste-skill 如何用 SKILL.md 教 AI 学会设计品味
2026-07-08 12:47:28 +0800 CST
view 252
taste-skill 通过将设计品味封装为可组合的 SKILL.md 技能集,解决 AI 生成界面千篇一律的核心问题。本文深入解析其三段旋钮系统、设计技能体系与工程实践。
AI编程
taste-skill
前端设计
SKILL.md
Claude Code
设计系统
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 183
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
AI 生成界面为什么总是样板间? taste-skill 用 SKILL.md 给 AI 装上设计品味
编程
AI 生成界面为什么总是样板间? taste-skill 用 SKILL.md 给 AI 装上设计品味
2026-07-08 12:50:03 +0800 CST
view 246
taste-skill 通过将设计品味封装为可组合的 SKILL.md 技能集,解决 AI 生成界面千篇一律的核心问题。本文深入解析其三段旋钮系统、设计技能体系与工程实践。
AI编程
taste-skill
前端设计
SKILL.md
Claude Code
设计系统
AI Agent
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 517
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
Agent Skills 深度拆解:当 AI 编程助手学会「工程纪律」——mattpocock/skills、addyosmani/agent-skills 与 Superpowers 如何用可组合 SOP 重写人机协作的心智模型
编程
Agent Skills 深度拆解:当 AI 编程助手学会「工程纪律」——mattpocock/skills、addyosmani/agent-skills 与 Superpowers 如何用可组合 SOP 重写人机协作的心智模型
2026-07-15 12:18:39 +0800 CST
view 259
从工程师视角深度拆解 Agent Skills 运动:mattpocock/skills、addyosmani/agent-skills 与 Superpowers 如何用可组合 SOP、Checkpoint 与反合理化给 AI 编程助手装上工程纪律,配 SKILL.md、TDD、CI 与 MCP 协同实战。
Agent Skills
AI编程
工程纪律
mattpocock
addyosmani
Superpowers
SKILL.md
TDD
vLLM 深度实战:当 LLM 推理遇上 PagedAttention——从 KV 缓存管理到生产级高并发服务的完全指南(2026)
编程
vLLM 深度实战:当 LLM 推理遇上 PagedAttention——从 KV 缓存管理到生产级高并发服务的完全指南(2026)
2026-06-08 22:52:24 +0800 CST
view 608
深度解析vLLM推理框架的核心原理、PagedAttention创新机制、分布式推理架构,以及生产环境部署的最佳实践。
vLLM
PagedAttention
LLM推理
KV缓存
分布式推理
2026 年 vLLM 推理服务实战:PagedAttention 原理、分布式部署与性能调优完全指南
编程
2026 年 vLLM 推理服务实战:PagedAttention 原理、分布式部署与性能调优完全指南
2026-06-08 22:53:03 +0800 CST
view 365
深度解析vLLM推理框架的核心原理、PagedAttention创新机制、分布式推理架构,以及生产环境部署的最佳实践。
vLLM
PagedAttention
LLM推理
KV缓存
分布式推理
Agent Skills 深度实战:当 AI 学会「工程师纪律」——从 Addy Osmani 的 7 个斜杠命令到生产级 AI 编程工作流的完全指南(2026)
编程
Agent Skills 深度实战:当 AI 学会「工程师纪律」——从 Addy Osmani 的 7 个斜杠命令到生产级 AI 编程工作流的完全指南(2026)
2026-06-15 00:50:09 +0800 CST
view 629
Agent Skills 是 Google 工程总监 Addy Osmani 开源的 AI 编程工程技能库,通过 7 个斜杠命令(/spec、/plan、/build、/test、/review、/code-simplify、/ship)将软件开发六阶段生命周期固化到 AI 工作流中,让 AI 从「代码生成器」升级为「工程助手」。
AI编程
Agent Skills
Addy Osmani
Claude Code
工程化
软件开发
Skill
生产级
Hermes Agent 深度实战:从「LLM 审判官」到自进化 Skills——不训练模型也能越用越强的 Agent 工程全解(2026)
编程
Hermes Agent 深度实战:从「LLM 审判官」到自进化 Skills——不训练模型也能越用越强的 Agent 工程全解(2026)
2026-07-22 07:45:42 +0800 CST
view 115
深度解析 Hermes Agent 自进化机制:LLM 审判官、三层记忆系统、Skill 自动生成的工程实现。不训练模型也能越用越强的 Agent 架构全解,含源码分析、部署指南与竞品对比。
Hermes Agent
AI Agent
自进化
记忆系统
Skill生成
LLM
开源项目
Nous Research
TensorRT-LLM 1.0 深度实战:当 PyTorch 架构成为默认体验,NVIDIA 的 LLM 推理引擎正式走向成熟
编程
TensorRT-LLM 1.0 深度实战:当 PyTorch 架构成为默认体验,NVIDIA 的 LLM 推理引擎正式走向成熟
2026-07-22 10:46:37 +0800 CST
view 122
深度解析 TensorRT-LLM 1.0:PyTorch 架构正式稳定、LLM API 稳定化、多模态 VLM 原生支持、Qwen3 MoE 优化、LoRA 生产级管理、trtllm-serve 推理服务化,配完整部署实战代码。
TensorRT-LLM
LLM推理
GPU加速
PyTorch
NVIDIA
深度学习
模型部署
推理优化
LLM 推理优化全景实战:从 PagedAttention 到投机解码——让大模型推理成本下降 70% 的技术革命(2026)
编程
LLM 推理优化全景实战:从 PagedAttention 到投机解码——让大模型推理成本下降 70% 的技术革命(2026)
2026-05-30 15:42:55 +0800 CST
view 512
深度解析 LLM 推理优化的核心技术:PagedAttention 内存管理革命、投机解码加速策略、INT4/FP8 量化技术、MoE 架构优化,从架构原理到代码实战,让大模型推理成本下降 70%。
LLM
推理优化
vLLM
PagedAttention
投机解码
量化
MoE
WorldMonitor 深度拆解:73K Stars 的「全球态势感知」仪表盘,凭什么不用任何前端框架?
编程
WorldMonitor 深度拆解:73K Stars 的「全球态势感知」仪表盘,凭什么不用任何前端框架?
2026-07-27 08:44:14 +0800 CST
view 69
深度拆解一周涨1万Star的WorldMonitor:500+信源聚合、双地图引擎、零框架Vanilla TS前端、一套代码6个站点变体、本地Ollama兜底与MCP/SDK全家桶,附自托管与mini复刻实战。
WorldMonitor
开源
态势感知
Vanilla TypeScript
deck.gl
MCP
Ollama
Tauri
Local-File-Organizer 深度解析:3K Stars 本地 AI 文件整理,Llama3.2+LLaVA 完全离线运行
编程
Local-File-Organizer 深度解析:3K Stars 本地 AI 文件整理,Llama3.2+LLaVA 完全离线运行
2026-05-15 12:22:33 +0800 CST
view 497
深入解析 3K Stars 的 Local-File-Organizer:基于 Llama3.2 3B + LLaVA-v1.6 双模型的本地 AI 文件整理工具,使用 Nexa SDK 实现 100% 离线推理,自动识别文件内容、智能分类重命名、支持图片视觉分析和文档内容解析,零数据外泄。
Local-File-Organizer
AI文件整理
Llama3
LLaVA
本地AI
隐私
给 AI 编码 Agent 装上「谷歌级工程纪律」:深度解析 Addy Osmani 的 agent-skills,从 Skill 解剖学到亲手写一个生产级技能
编程
给 AI 编码 Agent 装上「谷歌级工程纪律」:深度解析 Addy Osmani 的 agent-skills,从 Skill 解剖学到亲手写一个生产级技能
2026-07-10 02:47:04 +0800 CST
view 204
深度解析 Addy Osmani 开源的 agent-skills:如何把 Google 级工程规范编译成 AI 编码 Agent 可执行的技能,涵盖 Skill 解剖学、六阶段生命周期、七命令映射、Hooks 闸门,并手搓一个生产级「数据库迁移安全检查」技能(含完整代码)。
agent-skills
AI 编程
Claude Code
工程化
Skill
提示工程
Python
Nushell 深度解析:为什么 2026 年最值得学习的 Shell 不是 Bash
编程
Nushell 深度解析:为什么 2026 年最值得学习的 Shell 不是 Bash
2026-04-18 00:47:07 +0800 CST
view 642
深入解析 2026 年最值得学习的 Shell 工具 Nushell,从架构设计、管道机制、代码实战多维度剖析,探讨它如何用结构化数据管道取代传统文本流,以及如何在生产环境中落地使用。
Nushell
Rust
Shell
命令行
Linux
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
35
36
37
38
39
...
66
下一页