程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
sqlite-vec 深度实战:当 SQLite 遇见向量搜索,AI 应用的轻量级记忆系统从此有了标准答案(2026)
编程
sqlite-vec 深度实战:当 SQLite 遇见向量搜索,AI 应用的轻量级记忆系统从此有了标准答案(2026)
2026-07-22 01:16:13 +0800 CST
view 151
深度解析 sqlite-vec:一个纯C实现的SQLite向量搜索扩展,让SQLite直接支持语义搜索。涵盖核心架构、HNSW索引原理、SQL API完全指南、Python实战案例(知识库检索系统、AI Agent长期记忆、RAG系统)、性能优化、常见问题解决方案以及LangChain/LlamaIndex生态集成。
sqlite-vec
SQLite
向量搜索
AI应用
语义检索
RAG
Embedding
HNSW
AI Agent
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 469
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 291
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 471
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
2026年大模型推理框架横评:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9
编程
2026年大模型推理框架横评:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9
2026-07-10 17:44:16 +0800 CST
view 336
深度对比2026年四大主流LLM推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9,涵盖PagedAttention、FP8量化、ZeRO-3、连续批处理等核心技术原理,配生产级代码示例与实测性能数据。
LLM
vLLM
TensorRT-LLM
TGI
DeepSpeed
推理优化
量化
AI部署
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
编程
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
2026-06-29 15:13:32 +0800 CST
view 365
百度 Unlimited OCR 用 R-SWA 机制把 KV Cache 压成常数,首次实现 40+ 页文档单次前向解析。深度解析 R-SWA 原理、模型架构、性能基准与实战部署。
百度
Unlimited OCR
OCR
R-SWA
KV Cache
长文档
端到端OCR
DeepEncoder
MoE
参考滑动窗口注意力
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
编程
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
2026-06-29 17:16:04 +0800 CST
view 521
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 286
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
Claude Memory Compiler 深度解析:当 AI 编程助手第一次拥有「编译器思维」的记忆系统
编程
Claude Memory Compiler 深度解析:当 AI 编程助手第一次拥有「编译器思维」的记忆系统
2026-04-10 03:35:31 +0800 CST
view 916
claude-memory-compiler 把 AI 对话当作源代码,用 LLM 编译成结构化知识库,让 Claude Code 拥有跨会话记忆能力
Claude Code
AI Agent
Knowledge Management
LLM
Memory System
百度 Unlimited OCR 深度解析:R-SWA 如何把 KV Cache 从线性增长压成常数,端到端 OCR 的长文档革命
编程
百度 Unlimited OCR 深度解析:R-SWA 如何把 KV Cache 从线性增长压成常数,端到端 OCR 的长文档革命
2026-06-29 19:45:14 +0800 CST
view 252
深度解析百度开源的 Unlimited OCR:R-SWA 如何把 KV Cache 从线性增长压成常数,解决长文档 OCR 的失忆问题,OmniDocBench v1.6 刷新 SOTA 93.92%
Unlimited OCR
百度
OCR
端到端
长文档
R-SWA
开源
深度学习
文档解析
Markdown
Valkey 8.0 深度剖析:当 Redis 用异步 I/O 把单机吞吐干到 119 万 QPS
编程
Valkey 8.0 深度剖析:当 Redis 用异步 I/O 把单机吞吐干到 119 万 QPS
2026-07-23 17:44:36 +0800 CST
view 136
一场许可证风波催生的Redis分支Valkey,8.0版本用异步I/O线程模型把单机吞吐干到119万QPS。深度拆解异步I/O架构、双通道复制、per-slot指标、实验性RDMA,配Go/Python代码实战与Redis迁移清单。
Valkey
Redis
异步IO
双通道复制
内存数据库
性能优化
缓存
开源许可证
RDMA
Cluster
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 514
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 884
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
2026 大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构原理到生产级部署的完全指南
编程
2026 大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构原理到生产级部署的完全指南
2026-06-16 23:24:43 +0800 CST
view 315
深度对比四大主流LLM推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从PagedAttention架构原理、FlashAttention优化、量化支持到生产级部署实战,包含统一环境下的性能测试数据与代码示例,帮助你做出最优选型决策。
LLM
推理框架
vLLM
TensorRT
DeepSpeed
性能优化
AI
Google AI Edge Gallery 深度拆解:当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌(2026)
编程
Google AI Edge Gallery 深度拆解:当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌(2026)
2026-07-18 12:44:38 +0800 CST
view 203
深度拆解 Google AI Edge Gallery 开源项目:LiteRT 推理引擎架构、INT4 量化原理、多模态支持、模型转换实战、企业级落地场景,配完整 Kotlin 代码示例与性能优化指南。
Google AI Edge Gallery
LiteRT
端侧AI
大模型
Android
量化
多模态
离线推理
移动端部署
GenAI
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 607
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
百度 Unlimited-OCR 深度解析:R-SWA 注意力机制如何用 3B 参数打爆百亿模型
编程
百度 Unlimited-OCR 深度解析:R-SWA 注意力机制如何用 3B 参数打爆百亿模型
2026-06-30 16:16:03 +0800 CST
view 263
2026年6月百度开源Unlimited-OCR深度解析:R-SWA参考滑动窗口注意力机制将KV Cache从线性增长压成常数,3B MoE模型用500M激活参数在OmniDocBench上以93.92%总分刷新SOTA,打爆Qwen3-VL 72B和Gemini 2.5 Pro。万字长文从架构原理到代码实战全覆盖。
Unlimited-OCR
端到端OCR
R-SWA
百度
注意力机制
大模型
MoE
深度学习
AI开源
文档解析
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
编程
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
2026-05-17 10:21:56 +0800 CST
view 630
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
百度Unlimited-OCR深度解析:R-SWA常量KV缓存如何让OCR一口气吃下几十页文档——从单图解析到多页PDF的完整实战指南
编程
百度Unlimited-OCR深度解析:R-SWA常量KV缓存如何让OCR一口气吃下几十页文档——从单图解析到多页PDF的完整实战指南
2026-07-06 11:16:05 +0800 CST
view 341
深度解析百度开源Unlimited-OCR:13K+ Stars,R-SWA常量KV缓存让端到端OCR模型在32K上下文下一次性转录几十页文档。从架构设计到vLLM/SGLang生产部署完整实战指南。
Unlimited-OCR
百度
R-SWA
OCR
KV缓存
文档解析
长文档
vLLM
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
编程
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
2026-05-17 10:22:13 +0800 CST
view 633
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
2026大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——谁才是生产级部署的真正王者?
编程
2026大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——谁才是生产级部署的真正王者?
2026-06-23 08:22:26 +0800 CST
view 467
深度对比2026年四大主流大模型推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9,从核心架构、性能压测、成本分析到代码实战的完全指南。
vLLM
TensorRT-LLM
大模型推理
性能优化
DeepSpeed
TGI
万字深度解析百度 Unlimited OCR:当 R-SWA 遇见 MoE——3B 参数如何碾压端到端 OCR 全场(2026)
编程
万字深度解析百度 Unlimited OCR:当 R-SWA 遇见 MoE——3B 参数如何碾压端到端 OCR 全场(2026)
2026-07-01 03:42:17 +0800 CST
view 290
2026年6月百度开源Unlimited OCR,5天GitHub Star破万。深度解析R-SWA注意力机制、MoE架构、16倍视觉Token压缩,以及为何能将KV Cache从线性增长压成常数。
Unlimited OCR
OCR
R-SWA
MoE
百度
深度学习
计算机视觉
文档识别
KV Cache
Zed 深度拆解:当 Rust 原生代码编辑器重新定义「编辑器性能」——GPUI 框架、协同编辑与 2026 年完整生态全貌
编程
Zed 深度拆解:当 Rust 原生代码编辑器重新定义「编辑器性能」——GPUI 框架、协同编辑与 2026 年完整生态全貌
2026-07-19 15:46:44 +0800 CST
view 205
深度拆解 Zed 编辑器:从 GPUI 原生渲染框架、Rope 数据结构、Tree-sitter 增量解析、CRDT 协作编辑到 WebAssembly 扩展系统,配性能对比实测与 2026 年新功能解析
Zed
GPUI
Rust
代码编辑器
Tree-sitter
CRDT
WebAssembly
VS Code
UI-TARS-Desktop 深度解析:ByteDance 如何用多模态 AI Agent 重新定义 GUI 自动化
编程
UI-TARS-Desktop 深度解析:ByteDance 如何用多模态 AI Agent 重新定义 GUI 自动化
2026-05-12 04:43:13 +0800 CST
view 1127
UI-TARS-Desktop 是 ByteDance 开源的多模态 AI Agent 技术栈,包含 Agent TARS CLI/Web UI 和 UI-TARS-Desktop 原生应用。支持自然语言控制电脑、视觉理解界面、MCP 工具集成、Event Stream 协议驱动的 Context Engineering。本文深入解析其架构设计、核心特性、实战案例、性能基准与部署最佳实践。
UI-TARS
ByteDance
GUI自动化
多模态AI
MCP
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
8
9
10
11
12
...
63
下一页