程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Vite 8 + Rolldown 深度拆解:Rust 打包器如何终结「dev ≠ prod」,以及 Cloudflare 收购 VoidZero 之后的前端工具链版图
编程
Vite 8 + Rolldown 深度拆解:Rust 打包器如何终结「dev ≠ prod」,以及 Cloudflare 收购 VoidZero 之后的前端工具链版图
2026-07-30 21:15:54 +0800 CST
view 174
深度拆解 Vite 8 用 Rolldown 统一打包内核:双打包器架构的历史债、Rolldown+Oxc 四段流水线、Full Bundle Mode 对 no-bundle 的自我否定、Advanced Chunks 声明式分包、插件跨语言性能陷阱与 filter 下沉、可复现的基准测试脚本、六大迁移坑与检查清单,以及 Cloudflare 收购 VoidZero 后的工具链版图。
Vite,Rolldown,Oxc,VoidZero,Rust,前端工程化,打包器,Cloudflare,构建优化,Full Bundle Mode
AirLLM 深度实战:8GB 显存跑 405B 大模型——分层推理如何拆掉「显存墙」(2026 实战指南)
编程
AirLLM 深度实战:8GB 显存跑 405B 大模型——分层推理如何拆掉「显存墙」(2026 实战指南)
2026-08-15 09:44:41 +0800 CST
view 18
深度拆解 AirLLM 分层推理架构:8GB 显存跑 405B 大模型的时间换空间哲学,从 mmap 权重映射、单层计算流水线到完整 Python 实战与 15 条生产级优化建议。
AirLLM
大模型推理
显存优化
LLM
内存推理
Python
性能优化
GPU
推测解码深度实战:用「小模型猜、大模型验」的并行推理让 LLM 吞吐量翻倍(2026 生产指南)
编程
推测解码深度实战:用「小模型猜、大模型验」的并行推理让 LLM 吞吐量翻倍(2026 生产指南)
2026-08-15 11:15:10 +0800 CST
view 24
深度拆解推测解码技术原理与生产实战:从拒绝采样数学原理到 vLLM 实现架构,配完整 Python 代码与性能基准测试,实现 2-2.5x 无损吞吐量提升
推测解码
Speculative Decoding
LLM推理
vLLM
性能优化
GPU加速
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 277
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
2026-06-05 04:13:34 +0800 CST
view 530
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
2026-07-02 08:42:52 +0800 CST
view 376
深度解析 LMCache 开源项目:LLM 推理 KV 缓存管理层,涵盖架构设计、多级存储、Multiprocess 模式、非前缀复用、PD 拆分等核心技术,15+ 可运行代码示例。
LMCache
LLM推理
KV缓存
vLLM
SGLang
AI推理优化
GPU优化
分布式缓存
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
2026-06-05 04:13:52 +0800 CST
view 728
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
编程
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
2026-05-05 19:01:32 +0800 CST
view 1333
深度解析 vLLM 2026年第二季度技术路线图,涵盖 v1 架构核心设计、九大 SIG 技术演进方向、生产级部署实战经验。
vLLM
LLM推理
架构设计
性能优化
io_uring 深度解剖:Linux 异步 I/O 的性能王者,为何又被 Google 全线封禁——从 SQE/CQE 环形队列到零拷贝、SQPOLL 与安全攻防
编程
io_uring 深度解剖:Linux 异步 I/O 的性能王者,为何又被 Google 全线封禁——从 SQE/CQE 环形队列到零拷贝、SQPOLL 与安全攻防
2026-07-26 04:13:40 +0800 CST
view 204
深度拆解 Linux io_uring:SQ/CQ 环形队列内存模型、SQE/CQE 生命周期、liburing 文件读写与 echo 服务器实战、SQPOLL/注册缓冲区/链式操作/multishot/零拷贝发送进阶特性,并剖析为何性能炸裂却被 Google 在 ChromeOS/Android/GKE 全线封禁,附内核 6.6 安全加固与生产决策清单。
io_uring
Linux内核
异步IO
高性能
SQPOLL
零拷贝
epoll
网络编程
系统编程
安全
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
编程
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
2026-07-20 18:18:40 +0800 CST
view 381
深度拆解 Ollama 工程架构:Go 服务层封装 llama.cpp、CGO 内存边界、GGUF 量化格式、Modelfile DSL、OpenAI 兼容层、Metal GPU 加速与生产部署实战,配完整 Go/Python/Shell 代码示例。
Ollama
本地大模型
llama.cpp
GGUF
Go
CGO
量化
Apple Silicon
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
编程
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
2026-07-02 13:46:08 +0800 CST
view 435
深度解析 LMCache 开源 KV Cache 管理层项目:从三层存储架构、多后端支持、Disaggregated Prefill、CacheBlend、Segmented Prefill、P2P 共享到 Kubernetes 生产级部署的完整技术指南,含性能基准测试与代码实战
LMCache
KV Cache
LLM
vLLM
分布式
RDMA
Kubernetes
推理优化
Redis
NIXL
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 727
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
编程
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
2026-07-14 18:47:11 +0800 CST
view 203
深度拆解 LMCache 项目:从 Transformer Attention 机制出发,详细讲解 KV Cache 原理、三层存储架构、生产部署实战、Docker Compose 配置、CacheGen 压缩算法、PD 分离、跨实例 KV Cache 共享,以及与 vLLM/SGLang 的集成,配完整代码示例与性能调优指南。实测 DeepSeek 多轮对话 3~5 倍 TTFT 改善。
LMCache
KV Cache
LLM推理
vLLM
SGLang
推理优化
DeepSeek
分布式缓存
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 364
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
腾讯混元开源 HyOCR-1.5 深度解读:端到端 OCR 的工程哲学与 DFlash 投机解码完全指南
编程
腾讯混元开源 HyOCR-1.5 深度解读:端到端 OCR 的工程哲学与 DFlash 投机解码完全指南
2026-07-21 12:46:56 +0800 CST
view 246
2026年7月腾讯混元开源HyOCR-1.5端到端OCR大模型,1B参数OmniDocBench 94.74分霸榜。深度拆解DFlash投机解码6.37倍加速、Agentic Data Flow自动化数据闭环、三阶段训练配方,以及vLLM/llama.cpp全场景部署实战。
HyOCR
HunyuanOCR
腾讯混元
端到端OCR
DFlash
投机解码
多模态模型
文档解析
文字识别
视觉语言模型
OmniDocBench
vLLM
llama.cpp
深度学习
Nushell 深度实战:30K Star 的结构化数据 Shell——从类型系统到插件架构的生产级全链路解析
编程
Nushell 深度实战:30K Star 的结构化数据 Shell——从类型系统到插件架构的生产级全链路解析
2026-05-07 00:37:06 +0800 CST
view 764
深度解析 Nushell 的类型系统、结构化数据管道、Rust 多 Crate 架构、插件机制和生产实践,从 Bash 迁移到 Nu 的全链路实战指南
Nushell
Rust
Shell
结构化数据
管道
插件系统
类型系统
DevOps
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 339
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 605
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
编程
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
2026-07-26 17:15:22 +0800 CST
view 246
深度长文实战 Speculative Decoding 推测解码技术:从拒绝采样原理、草稿模型选型到 vLLM 生产部署,包含完整代码实现、性能基准测试和 DSpark 等前沿变体解析,不修改模型不牺牲质量即可实现 2-3 倍推理加速。
Speculative Decoding
LLM推理加速
推测解码
vLLM
DSpark
TensorRT-LLM 1.0 深度实战:当 PyTorch 架构成为默认体验,NVIDIA 的 LLM 推理引擎正式走向成熟
编程
TensorRT-LLM 1.0 深度实战:当 PyTorch 架构成为默认体验,NVIDIA 的 LLM 推理引擎正式走向成熟
2026-07-22 10:46:37 +0800 CST
view 185
深度解析 TensorRT-LLM 1.0:PyTorch 架构正式稳定、LLM API 稳定化、多模态 VLM 原生支持、Qwen3 MoE 优化、LoRA 生产级管理、trtllm-serve 推理服务化,配完整部署实战代码。
TensorRT-LLM
LLM推理
GPU加速
PyTorch
NVIDIA
深度学习
模型部署
推理优化
WorldMonitor 深度拆解:73K Stars 的「全球态势感知」仪表盘,凭什么不用任何前端框架?
编程
WorldMonitor 深度拆解:73K Stars 的「全球态势感知」仪表盘,凭什么不用任何前端框架?
2026-07-27 08:44:14 +0800 CST
view 397
深度拆解一周涨1万Star的WorldMonitor:500+信源聚合、双地图引擎、零框架Vanilla TS前端、一套代码6个站点变体、本地Ollama兜底与MCP/SDK全家桶,附自托管与mini复刻实战。
WorldMonitor
开源
态势感知
Vanilla TypeScript
deck.gl
MCP
Ollama
Tauri
Local-File-Organizer 深度解析:3K Stars 本地 AI 文件整理,Llama3.2+LLaVA 完全离线运行
编程
Local-File-Organizer 深度解析:3K Stars 本地 AI 文件整理,Llama3.2+LLaVA 完全离线运行
2026-05-15 12:22:33 +0800 CST
view 579
深入解析 3K Stars 的 Local-File-Organizer:基于 Llama3.2 3B + LLaVA-v1.6 双模型的本地 AI 文件整理工具,使用 Nexa SDK 实现 100% 离线推理,自动识别文件内容、智能分类重命名、支持图片视觉分析和文档内容解析,零数据外泄。
Local-File-Organizer
AI文件整理
Llama3
LLaVA
本地AI
隐私
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
编程
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
2026-04-08 15:51:53 +0800 CST
view 2154
深度对比SGLang与vLLM两大LLM推理框架,从架构设计、核心原理、性能实测、适用场景多维度解析,附2026年选型建议
LLM
SGLang
vLLM
推理优化
大模型
Nushell 深度解析:为什么 2026 年最值得学习的 Shell 不是 Bash
编程
Nushell 深度解析:为什么 2026 年最值得学习的 Shell 不是 Bash
2026-04-18 00:47:07 +0800 CST
view 712
深入解析 2026 年最值得学习的 Shell 工具 Nushell,从架构设计、管道机制、代码实战多维度剖析,探讨它如何用结构化数据管道取代传统文本流,以及如何在生产环境中落地使用。
Nushell
Rust
Shell
命令行
Linux
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
90
91
92
93
94
...
103
下一页