程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
PageIndex:无向量推理驱动 RAG 革命,AI 检索如何告别向量嵌入依赖
编程
PageIndex:无向量推理驱动 RAG 革命,AI 检索如何告别向量嵌入依赖
2026-08-11 13:27:39 +0800 CST
view 167
深度拆解 PageIndex 无向量推理检索框架:从传统向量 RAG 的切块陷阱与 Embedding 失真问题出发,详细解析树形索引构建、LLM 推理定位、精确答案提取的全链路架构,含完整 Python 代码实战、性能对比与生产选型指南。
PageIndex
RAG
向量数据库
推理检索
AI
LLM
检索增强生成
无向量
oMLX 深度解析:Apple Silicon 原生的本地大模型推理服务器——从分层 KV 缓存到菜单栏级 AI 编码伴侣
编程
oMLX 深度解析:Apple Silicon 原生的本地大模型推理服务器——从分层 KV 缓存到菜单栏级 AI 编码伴侣
2026-05-21 22:30:11 +0800 CST
view 1019
深入解析 oMLX 的分层 KV 缓存架构(热 RAM + 冷 SSD)、Copy-on-Write 优化、与 Claude Code 的深度集成,以及 Apple Silicon 原生的推理性能优化。
oMLX
Apple Silicon
本地大模型
KV缓存
MLX
推理服务器
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 594
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
TimesFM 深度实战:当 Google Research 把基础模型带进时间序列——从预训练解码器到零样本推理、从多周期建模到生产级预测完全指南(2026)
编程
TimesFM 深度实战:当 Google Research 把基础模型带进时间序列——从预训练解码器到零样本推理、从多周期建模到生产级预测完全指南(2026)
2026-06-21 03:24:16 +0800 CST
view 610
TimesFM 2.5深度解析:Google Research开源的时间序列基础模型,200M参数、16K上下文、零样本推理。从Patch机制、RevIN归一化到LoRA微调、生产部署,10000字完整技术指南。
TimesFM
时间序列预测
Google Research
基础模型
零样本推理
Transformer
概率预测
Serial Scaling Hypothesis 深度解析:当 GPU 遇上「天生串行」问题——从复杂度理论到 AI 推理新范式的完全指南(2026)
编程
Serial Scaling Hypothesis 深度解析:当 GPU 遇上「天生串行」问题——从复杂度理论到 AI 推理新范式的完全指南(2026)
2026-06-15 13:52:24 +0800 CST
view 423
深度解析 ICLR 2026 论文 Serial Scaling Hypothesis:为什么某些问题堆再多 GPU 也无法加速?从复杂度理论揭示 AI 推理新范式,探讨 Chain-of-Thought、推理时计算的工程实践。
AI
深度学习
推理时计算
复杂度理论
ICLR2026
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
编程
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
2026-04-08 15:51:53 +0800 CST
view 2236
深度对比SGLang与vLLM两大LLM推理框架,从架构设计、核心原理、性能实测、适用场景多维度解析,附2026年选型建议
LLM
SGLang
vLLM
推理优化
大模型
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
编程
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
2026-05-15 17:47:40 +0800 CST
view 1045
深入解析 antirez(Redis 作者)新开源项目 ds4:DwarfStar 4 本地推理引擎,专门为 DeepSeek V4 Flash 打造,支持 Metal/CUDA 后端,2-bit 量化可在 96GB 内存 MacBook 上运行 284B 参数模型。
AI推理
本地部署
DeepSeek
Redis
Apple Silicon
CUDA
Metal
MoE
量化
DFlash 深度实战:块扩散投机解码革命——让 Qwen3-8B 推理速度暴增 6.17 倍的技术全景(2026 完全指南)
编程
DFlash 深度实战:块扩散投机解码革命——让 Qwen3-8B 推理速度暴增 6.17 倍的技术全景(2026 完全指南)
2026-05-30 20:43:16 +0800 CST
view 811
DFlash 通过将块扩散模型引入投机解码,实现6.17倍无损推理加速。本文从原理、架构、数学推导、代码实战到生产部署,全方位解析这项颠覆性技术。
AI
大模型推理
DFlash
投机解码
块扩散
Qwen3
性能优化
vLLM vs SGLang 深度横评:当 PagedAttention 遇上 RadixAttention——LLM 推理框架选型完全指南
编程
vLLM vs SGLang 深度横评:当 PagedAttention 遇上 RadixAttention——LLM 推理框架选型完全指南
2026-08-18 11:46:32 +0800 CST
view 92
深度横评 vLLM 和 SGLang 两大主流 LLM 推理框架,剖析 PagedAttention 和 RadixAttention 的核心原理,对比性能差异、显存效率、适用场景,并提供生产环境部署实战指南。
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
深度学习
性能优化
框架横评
Ollama 融资 6500 万美元背后:2026 年本地大模型运行时生态深度拆解——为什么「极简主义」赢了
编程
Ollama 融资 6500 万美元背后:2026 年本地大模型运行时生态深度拆解——为什么「极简主义」赢了
2026-07-16 11:45:03 +0800 CST
view 416
从 Ollama 6500 万美元融资事件切入,深度拆解 2026 年本地大模型运行时生态:Ollama、llama.cpp、LocalAI、LiteBox、vLLM 的架构设计、性能对比、API 设计、适用场景,配完整代码实战与生产部署踩坑指南。
Ollama
本地大模型
llama.cpp
LocalAI
LiteBox
本地LLM
推理引擎
量化
GGUF
MCP
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
编程
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
2026-07-16 12:50:04 +0800 CST
view 305
深度对比 llama.cpp 与 LiteBox 两大本地 LLM 推理框架:GGUF 格式设计、K-Quant 量化内核、KV cache 管理、多后端抽象、并发架构,配完整代码实战与性能实测数据。
llama.cpp
LiteBox
GGUF
量化
KV cache
本地LLM
推理框架
Rust
C/C++
模型压缩
Ollama 0.30 深度实战:当本地 LLM 推理有了双引擎——从 llama.cpp + MLX 双后端到 Gemma 4 QAT、从 Cohere2 MoE 到 ollama launch AI 编程助手生态的生产级完全指南(2026)
编程
Ollama 0.30 深度实战:当本地 LLM 推理有了双引擎——从 llama.cpp + MLX 双后端到 Gemma 4 QAT、从 Cohere2 MoE 到 ollama launch AI 编程助手生态的生产级完全指南(2026)
2026-06-21 08:54:17 +0800 CST
view 843
Ollama 0.30 深度解析:双引擎推理架构、Gemma 4 QAT、Cohere2 MoE、ollama launch 生态与生产级部署完全指南
Ollama
LLM
本地推理
AI编程
llama.cpp
MLX
Gemma
开源
DwarfStar 4深度解析:Redis之父如何用500行C代码重塑本地大模型推理
编程
DwarfStar 4深度解析:Redis之父如何用500行C代码重塑本地大模型推理
2026-06-29 01:19:31 +0800 CST
view 367
Redis创始人antirez开源项目DwarfStar 4深度解析:如何用5000行C代码为DeepSeek V4 Flash打造专用推理引擎,实现Mac上26 tok/s的本地大模型推理体验。
AI推理
本地大模型
DeepSeek
C语言
Metal
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
编程
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
2026-04-09 03:15:44 +0800 CST
view 1185
2026年TensorRT-LLM v0.19全面解析:Skip Softmax稀疏注意力、Paged KV Cache显存管理、INT8/INT4低比特量化完整实战,Blackwell架构适配指南,70B模型单卡部署方案
TensorRT-LLM
低比特量化
Blackwell
INT8
INT4
推理优化
NVIDIA
LLM 推理网关架构深度拆解:从 Python 到 Rust 的 10 倍性能跃迁——当 GIL 成为瓶颈,系统编程语言如何拯救你的推理服务
编程
LLM 推理网关架构深度拆解:从 Python 到 Rust 的 10 倍性能跃迁——当 GIL 成为瓶颈,系统编程语言如何拯救你的推理服务
2026-08-12 10:43:39 +0800 CST
view 128
当 Python 推理网关的 p99 延迟逼近 800ms 红线,我们用 Rust 重写后,吞吐量提升 10 倍,p99 延迟降至 80ms。深度拆解从 FastAPI + Gunicorn 到 Axum + Tokio 的全链路重构,涵盖请求池设计、FFI 边界、流式响应与 15 条踩坑清单。
Rust
Python
推理网关
性能优化
FFI
异步IO
Tokio
Axum
内存管理
高并发
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
编程
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46 +0800 CST
view 492
深度解析 vLLM 0.5 的 PagedAttention 架构原理,涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术,并通过代码实战和性能对比,帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM
PagedAttention
LLM推理
CUDA
KV Cache
深度学习
AI基础设施
Python
生产部署
性能优化
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
编程
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
2026-06-16 01:17:28 +0800 CST
view 972
llama.cpp 是端侧 LLM 推理的事实标准(180K+ Stars)。本文从源码架构、GGUF 格式、量化方法、跨平台后端、生产部署、性能优化到 DeepSeek V4 Flash 实战,全方位讲解本地 AI 推理。
llama.cpp
GGUF
量化
端侧推理
本地AI
C/C++
Apple Silicon
SGLang 深度拆解:当 RadixAttention 把 KV Cache 变成一棵可复用的「记忆树」——从前缀缓存、零开销调度到生产级推理服务的全链路实战
编程
SGLang 深度拆解:当 RadixAttention 把 KV Cache 变成一棵可复用的「记忆树」——从前缀缓存、零开销调度到生产级推理服务的全链路实战
2026-08-18 21:45:21 +0800 CST
view 105
深度拆解 SGLang 推理引擎:从 RadixAttention 前缀缓存、零开销 CPU 调度、约束解码到 PD 分离与量化,配可运行代码与生产调优清单。
SGLang
RadixAttention
KV Cache
LLM推理
前缀缓存
结构化生成
Pumpkin 深度拆解:用 Rust 从零重写 Minecraft 服务端,CPU 省 20 倍、内存省 100 倍,这群人凭什么叫板运行了十五年的 Java 原版
编程
Pumpkin 深度拆解:用 Rust 从零重写 Minecraft 服务端,CPU 省 20 倍、内存省 100 倍,这群人凭什么叫板运行了十五年的 Java 原版
2026-07-28 07:47:24 +0800 CST
view 260
深度拆解 Rust 开源项目 Pumpkin:从零重写 Minecraft 服务端,CPU 省 20 倍、内存省 100 倍的架构原理,多线程 tick、调色板存储、WASM 组件插件与 BotMark 压测实战,附部署指南与冷静的短板分析。
Pumpkin
Rust
Minecraft
游戏服务端
多线程
WASM
tokio
性能优化
开源
插件系统
Chrome DevTools MCP 深度实战:从浏览器自动化到 AI 编程超能力——Google 官方 MCP 服务器的架构设计与生产级实践
编程
Chrome DevTools MCP 深度实战:从浏览器自动化到 AI 编程超能力——Google 官方 MCP 服务器的架构设计与生产级实践
2026-05-22 17:17:43 +0800 CST
view 692
深入解析 Google 官方 Chrome DevTools MCP 服务器,45+工具全景覆盖,从架构设计到生产实践,打造 AI Agent 的浏览器超能力。
MCP
Chrome
DevTools
浏览器自动化
AI编程
AI Agent
Puppeteer
前端开发
浏览器自动化的终极解法:CloakBrowser 如何用 58 处 C++ 补丁让所有反机器人系统失效
编程
浏览器自动化的终极解法:CloakBrowser 如何用 58 处 C++ 补丁让所有反机器人系统失效
2026-06-21 19:31:21 +0800 CST
view 467
CloakBrowser 通过在 Chromium C++ 源码层打入 58 处补丁,从 GPU 渲染、WebGL 指纹、Canvas 声纹到网络时序特征实现真正的浏览器隐身。无需 JS 注入,直接替换 Playwright/Puppeteer 的 import,三行代码迁移,30/30 检测站点全部通过。
CloakBrowser
Chromium
反爬虫
浏览器自动化
Playwright
Puppeteer
Apache Iceberg v3 深度拆解:当删除向量把行级更新从「小文件雪崩」拉回一次位运算——从 Puffin 二进制布局、Row Lineage 继承链到 Variant/地理类型与生产迁移全链路实战
编程
Apache Iceberg v3 深度拆解:当删除向量把行级更新从「小文件雪崩」拉回一次位运算——从 Puffin 二进制布局、Row Lineage 继承链到 Variant/地理类型与生产迁移全链路实战
2026-08-19 05:21:04 +0800 CST
view 78
深度拆解 Apache Iceberg v3:从 v2 位置删除文件的读放大困局,到 Puffin deletion-vector-v1 字节级布局、Roaring 分片位图、Row Lineage 四级继承链、Variant/地理类型与列默认值,配可运行 Python 解析器、Spark/PyIceberg 实战与生产迁移调优清单。
Apache Iceberg
Iceberg v3
删除向量
Puffin
Row Lineage
数据湖仓
Lakehouse
Roaring Bitmap
Variant
表格式
Warp 深度拆解:当终端决定「干掉 IDE」——从 55K Star 到 Oz 多智能体编排,Rust 如何把命令行变成 Agentic Development Environment
编程
Warp 深度拆解:当终端决定「干掉 IDE」——从 55K Star 到 Oz 多智能体编排,Rust 如何把命令行变成 Agentic Development Environment
2026-08-04 08:14:12 +0800 CST
view 227
深度拆解Warp终端:Rust引擎、WarpUI声明式框架、Block模型、Oz多智能体编排平台,从55K Star到Agent-first开源范式的完整架构分析
Warp
Rust
AI Agent
终端
Oz
WarpUI
Agentic Development
OpenAI
智能体编排
命令行
开发者工具
Chrome DevTools MCP 深度解析:AI 编程助手「看见」浏览器的技术革命
编程
Chrome DevTools MCP 深度解析:AI 编程助手「看见」浏览器的技术革命
2026-06-30 01:16:44 +0800 CST
view 611
深度解析 Chrome DevTools MCP:AI 编程助手「看见」浏览器的技术革命,26+工具全景、代码实战、性能分析工程、安全实践
Chrome DevTools MCP
MCP
AI编程
浏览器自动化
Puppeteer
CDP
前端开发
TypeScript
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
16
17
18
19
20
21
下一页