LLM Ops-程序员茄子

Gemma MacOS Tuner 深度解析：在 Apple Silicon 上用 PyTorch 和 MPS 高效微调多模态 Gemma
2026-04-09 01:14:39 +0800 CST view 1345
详解 gemma-tuner-multimodal 项目：在 Apple Silicon 上通过 PyTorch MPS 后端对 Google Gemma 系列模型进行 LoRA 微调，支持文本、图像、音频三种模态，完全本地运行，数据不出机器，零 NVIDIA GPU 依赖。
Gemma Apple Silicon PyTorch MPS LoRA 微调 Machine Learning

DeepSeek V4 深度解析：百万token上下文的技术革命，让开源模型站上全球之巅

编程

DeepSeek V4 深度解析：百万token上下文的技术革命，让开源模型站上全球之巅
2026-04-28 08:19:25 +0800 CST view 746
深度解析 DeepSeek V4：混合注意力机制、MoE 架构、100万token 上下文、Agent 能力，从技术原理到部署实战，全面剖析开源模型新天花板
DeepSeek AI大模型开源长上下文 MoE 混合注意力 Agent

DwarfStar 4深度解析：Redis之父如何用500行C代码重塑本地大模型推理

编程

DwarfStar 4深度解析：Redis之父如何用500行C代码重塑本地大模型推理
2026-06-29 01:19:31 +0800 CST view 338
Redis创始人antirez开源项目DwarfStar 4深度解析：如何用5000行C代码为DeepSeek V4 Flash打造专用推理引擎，实现Mac上26 tok/s的本地大模型推理体验。
AI推理本地大模型 DeepSeek C语言 Metal

httptap 深度实战：用 uprobes 在用户态捕获任意 Linux 程序的 HTTP/HTTPS 流量

编程

httptap 深度实战：用 uprobes 在用户态捕获任意 Linux 程序的 HTTP/HTTPS 流量
2026-07-10 11:17:20 +0800 CST view 402
深入剖析 httptap 项目：用 Linux uprobes 实现零侵入式 HTTP/HTTPS 流量捕获，附完整 Go 代码与生产级优化指南
Go语言 Linux uprobes HTTPS 网络调试动态追踪 eBPF

DeepSeek-TUI 深度解析：半个月狂揽 1.9 万 Star——Rust 驱动的终端 AI 编程助手，如何对标 Claude Code？

编程

DeepSeek-TUI 深度解析：半个月狂揽 1.9 万 Star——Rust 驱动的终端 AI 编程助手，如何对标 Claude Code？
2026-05-15 22:44:40 +0800 CST view 750
DeepSeek-TUI 由独立开发者 Hunter Bown 用 Rust 编写，半个月狂揽 1.9 万 GitHub Star。本文从架构、核心能力、竞品对比、实战 demo 四个维度深度解析这一终端 AI 编程助手。
DeepSeek-TUI AI编程终端Agent Rust Claude Code对比

NATS 深度实战：当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南（2026）

编程

NATS 深度实战：当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南（2026）
2026-06-21 10:55:40 +0800 CST view 517
NATS深度实战：从Pub/Sub到JetStream持久化，从边缘计算到AI推理总线，生产级完全指南（2026）
NATS 消息队列云原生微服务 AI推理边缘计算 JetStream Pub/Sub Request/Reply Queue Groups

NATS 消息系统深度实战：云原生通信基础设施的架构设计与生产级最佳实践（2026）

编程

NATS 消息系统深度实战：云原生通信基础设施的架构设计与生产级最佳实践（2026）
2026-06-21 10:56:10 +0800 CST view 448
NATS深度实战：云原生通信基础设施的架构设计与生产级最佳实践（2026）
NATS 消息队列云原生微服务 AI推理边缘计算 JetStream Pub/Sub Request/Reply Queue Groups

TileLang + TileKernels 深度解析：DeepSeek 如何用 Python 写出让 GPU 逼近理论性能上限的 GPU 内核

编程

TileLang + TileKernels 深度解析：DeepSeek 如何用 Python 写出让 GPU 逼近理论性能上限的 GPU 内核
2026-04-28 10:55:20 +0800 CST view 831
深度剖析 DeepSeek 开源的 TileLang DSL 和 TileKernels GPU 内核库：从 GEMM 到 MoE，从 TVM 编译基础设施到生产级量化内核，揭示用 Python 写接近硬件极限性能 GPU 代码的秘密。
TileLang GPU内核 DeepSeek 高性能计算 CUDA GEMM MoE 量化 TVM 开源项目

PostgreSQL 18 深度拆解：当关系型数据库装上异步 I/O 引擎——3 倍读吞吐、Skip Scan 与 uuidv7 的工程全貌

编程

PostgreSQL 18 深度拆解：当关系型数据库装上异步 I/O 引擎——3 倍读吞吐、Skip Scan 与 uuidv7 的工程全貌
2026-07-16 16:52:29 +0800 CST view 297
PostgreSQL 18 深度拆解：异步 I/O 子系统带来最高 3 倍读吞吐，Skip Scan 让低基数列复合索引跳着查，uuidv7 原生时间有序主键，虚拟生成列省存储。配可运行代码与生产基准。
PostgreSQL PG18 数据库异步IO 性能优化 uuidv7 SkipScan 生成列

VPS 搭建 7×24 时时无人监看推流服务器实现多平台同步直播

编程

VPS 搭建 7×24 时时无人监看推流服务器实现多平台同步直播
2025-04-01 22:19:52 +0800 CST view 1856
本教程指导用户如何在VPS上搭建7×24小时无人监看推流服务器，实现YouTube、B站、抖音、TikTok等多个平台的同步直播。包括环境准备、依赖安装、推流脚本下载、使用Screen管理进程等步骤，确保直播稳定高效。
VPS 直播技术多媒体

LLM推理框架2026选型完全指南：从vLLM到TensorRT-LLM，一次讲透四大引擎的架构哲学与生产级实战

编程

LLM推理框架2026选型完全指南：从vLLM到TensorRT-LLM，一次讲透四大引擎的架构哲学与生产级实战
2026-06-02 09:36:52 +0800 CST view 805
从vLLM到TensorRT-LLM，一次讲透vLLM、SGLang、TensorRT-LLM、llama.cpp四大LLM推理框架的架构哲学、核心原理、生产级部署实战与选型决策树。
LLM vLLM TensorRT-LLM llama.cpp SGLang 推理优化 GPU

LLM推理引擎终极对决：vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南

编程

LLM推理引擎终极对决：vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31 +0800 CST view 934
深度对比vLLM与TensorRT-LLM两大LLM推理框架，从PagedAttention到Kernel Fusion，从量化技术到生产部署，助你做出正确的技术选型决策
LLM vLLM TensorRT-LLM 推理优化大模型部署量化技术 AI工程

LLM推理引擎深度实战：从PagedAttention到生产级部署，万字长文吃透2026年最关键的AI基础设施

编程

LLM推理引擎深度实战：从PagedAttention到生产级部署，万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST view 390
2026年LLM推理引擎深度实战：从PagedAttention、连续批处理、量化技术到生产级K8s部署，万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理 vLLM PagedAttention SGLang 推理优化 TensorRT-LLM 生产部署 KV Cache 量化

KV Cache 显存优化深度解析：从 PagedAttention 到 2026 年最新压缩技术演进

编程

KV Cache 显存优化深度解析：从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST view 178
从第一性原理深度剖析 KV Cache 显存困境，系统拆解 PagedAttention 核心原理，对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线，涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术，含完整代码示例与生产调优指南。
KV Cache PagedAttention vLLM TensorRT-LLM SGLang LLM推理 GPU优化显存优化量化深度学习

LMCache 实战：大模型推理的 KV Cache 终极优化方案

编程

LMCache 实战：大模型推理的 KV Cache 终极优化方案
2026-07-23 08:44:51 +0800 CST view 202
LMCache 实战指南：通过智能 KV Cache 管理，实现 LLM 推理吞吐量最高 10 倍提升，显存占用降低 40%-60%。包含 vLLM/TGI 集成、分布式缓存、性能调优最佳实践。
LMCache KV Cache LLM推理优化 vLLM RAG性能优化

万字深度解析 LMCache：当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南（2026）

编程

万字深度解析 LMCache：当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南（2026）
2026-07-02 08:42:52 +0800 CST view 382
深度解析 LMCache 开源项目：LLM 推理 KV 缓存管理层，涵盖架构设计、多级存储、Multiprocess 模式、非前缀复用、PD 拆分等核心技术，15+ 可运行代码示例。
LMCache LLM推理 KV缓存 vLLM SGLang AI推理优化 GPU优化分布式缓存

万字深度解析 LMCache：当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南（2026）

编程

万字深度解析 LMCache：当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南（2026）
2026-07-02 13:46:08 +0800 CST view 444
深度解析 LMCache 开源 KV Cache 管理层项目：从三层存储架构、多后端支持、Disaggregated Prefill、CacheBlend、Segmented Prefill、P2P 共享到 Kubernetes 生产级部署的完整技术指南，含性能基准测试与代码实战
LMCache KV Cache LLM vLLM 分布式 RDMA Kubernetes 推理优化 Redis NIXL

万字深度解析 LMCache：当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南（2026）

编程

万字深度解析 LMCache：当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南（2026）
2026-07-03 03:14:31 +0800 CST view 369
深度解析LMCache KV Cache管理层：从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享，到与vLLM深度集成的生产级部署实战，含完整代码和性能调优指南。
LMCache LLM推理 KV Cache vLLM TTFT优化 GPU优化 AI推理加速分布式缓存

vLLM V1 深度拆解：当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板

编程

vLLM V1 深度拆解：当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST view 187
深度拆解vLLM V1引擎四大核心架构：PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理，附完整部署配置与性能基准测试
vLLM PagedAttention LMCache 分离式推理大模型推理 KV Cache 推理引擎 LLM Serving GPU优化开源

pi-mono 深度拆解：libGDX 作者的 4 万 Star AI Agent 全家桶，不到 1000 token 的 System Prompt 凭什么成为 OpenClaw 的引擎

编程

pi-mono 深度拆解：libGDX 作者的 4 万 Star AI Agent 全家桶，不到 1000 token 的 System Prompt 凭什么成为 OpenClaw 的引擎
2026-07-28 05:13:25 +0800 CST view 291
深度拆解 libGDX 作者 badlogic 的 4 万 Star 项目 pi-mono：7 包 Monorepo 架构、pi-ai 统一 LLM 层、不到 1000 token 的极简 System Prompt 与学徒哲学，附自定义工具实战与 Claude Code/Codex 对比选型。
pi-mono AI Agent Coding Agent TypeScript LLM 开源 OpenClaw 开发者工具 vLLM 终端工具

llmfit 深度拆解：一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖

编程

llmfit 深度拆解：一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖
2026-07-24 18:44:04 +0800 CST view 198
深度拆解 GitHub Trending 开源工具 llmfit：四维评分系统、量化自动试探、MoE 精算、带宽速度模型、Plan 模式与 bench 众包校准，从第一性原理讲透本地大模型的硬件适配方法论。
llmfit 本地大模型 LLM Rust 量化 Ollama llama.cpp Apple Silicon 硬件适配开源

LLM 推理服务引擎深度拆解：从 PagedAttention 到 PD 分离，把 GPU 榨干的七层优化栈

编程

LLM 推理服务引擎深度拆解：从 PagedAttention 到 PD 分离，把 GPU 榨干的七层优化栈
2026-07-30 21:49:19 +0800 CST view 159
深度拆解 LLM 推理服务的七层优化栈：PagedAttention 分页显存与写时复制、连续批处理消灭队头阻塞、前缀缓存命中率实操、Chunked Prefill 与 PD 分离决策、KV Cache 分层复用的拉取/重算临界点、投机解码加速比数学与失效场景、量化与并行选型。附大量可运行代码、压测骨架、调优顺序与七个常见误区。
LLM推理 vLLM SGLang PagedAttention PD分离 KV Cache 前缀缓存投机解码 Chunked Prefill 性能优化

万字深度解析 Nano-vLLM：当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南（2026）

编程

万字深度解析 Nano-vLLM：当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南（2026）
2026-07-01 14:44:55 +0800 CST view 330
Nano-vLLM：用约1200行Python代码实现的轻量级vLLM替代方案。深度解析KV Cache管理、GQA注意力、RoPE位置编码、Continuous Batching等核心技术，Benchmark性能超越vLLM 5.3%。适合学习大模型推理原理和内网轻量级部署。
Nano-vLLM 大模型推理 LLM Tensor Parallelism KV Cache Continuous Batching Python PyTorch Qwen2 开源项目

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调回调

上一页 1...7 8910 11...54 下一页

AI,自己全程接管维护

Gemma MacOS Tuner 深度解析：在 Apple Silicon 上用 PyTorch 和 MPS 高效微调多模态 Gemma

DeepSeek V4 深度解析：百万token上下文的技术革命，让开源模型站上全球之巅

DwarfStar 4深度解析：Redis之父如何用500行C代码重塑本地大模型推理

httptap 深度实战：用 uprobes 在用户态捕获任意 Linux 程序的 HTTP/HTTPS 流量

DeepSeek-TUI 深度解析：半个月狂揽 1.9 万 Star——Rust 驱动的终端 AI 编程助手，如何对标 Claude Code？

NATS 深度实战：当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南（2026）

NATS 消息系统深度实战：云原生通信基础设施的架构设计与生产级最佳实践（2026）

TileLang + TileKernels 深度解析：DeepSeek 如何用 Python 写出让 GPU 逼近理论性能上限的 GPU 内核

PostgreSQL 18 深度拆解：当关系型数据库装上异步 I/O 引擎——3 倍读吞吐、Skip Scan 与 uuidv7 的工程全貌

VPS 搭建 7×24 时时无人监看推流服务器实现多平台同步直播

LLM推理框架2026选型完全指南：从vLLM到TensorRT-LLM，一次讲透四大引擎的架构哲学与生产级实战

LLM推理引擎终极对决：vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南

LLM推理引擎深度实战：从PagedAttention到生产级部署，万字长文吃透2026年最关键的AI基础设施

KV Cache 显存优化深度解析：从 PagedAttention 到 2026 年最新压缩技术演进

LMCache 实战：大模型推理的 KV Cache 终极优化方案

万字深度解析 LMCache：当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南（2026）

万字深度解析 LMCache：当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南（2026）

万字深度解析 LMCache：当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南（2026）

vLLM V1 深度拆解：当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板

Apache APISIX 深度拆解：从 API 网关到 AI 网关——当 Lua 脚本引擎遇上 20+ LLM 提供商，手写一个生产级 AI 流量治理平台

pi-mono 深度拆解：libGDX 作者的 4 万 Star AI Agent 全家桶，不到 1000 token 的 System Prompt 凭什么成为 OpenClaw 的引擎

llmfit 深度拆解：一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖

LLM 推理服务引擎深度拆解：从 PagedAttention 到 PD 分离，把 GPU 榨干的七层优化栈

万字深度解析 Nano-vLLM：当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南（2026）

大家都在搜索什么？