程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 285
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
编程
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
2026-07-02 07:45:18 +0800 CST
view 345
深度解析 NVIDIA Blackwell GPU 架构与 CUDA 13.1 Tile 编程模型,涵盖 FP4 量化、Tensor Core v5、NVLink 5.0、DeepSeek V4 推理优化等核心技术,提供完整 Python 实战代码。
Blackwell
CUDA
GPU编程
AI推理
性能优化
深度学习
并行计算
NVIDIA
量化
Tensor Core
pgrust 深度实战:当 PostgreSQL 被 Rust 重写——100% 回归测试通过,分析负载快 300 倍
编程
pgrust 深度实战:当 PostgreSQL 被 Rust 重写——100% 回归测试通过,分析负载快 300 倍
2026-07-14 08:14:56 +0800 CST
view 430
深度拆解 pgrust:用 Rust 重写的 PostgreSQL,100% 通过 46,066 个回归测试,OLAP 场景快 300 倍,OLTP 快 50%,兼容 PG 18.3 数据目录,从架构分析到实战部署一次讲透。
pgrust
PostgreSQL
Rust
数据库
向量化执行
性能优化
OLAP
Intel OpenVINO 2026.3 深度拆解:让 300 亿参数 MoE 模型跑进 16GB 内存的工程实践
编程
Intel OpenVINO 2026.3 深度拆解:让 300 亿参数 MoE 模型跑进 16GB 内存的工程实践
2026-08-09 03:16:31 +0800 CST
view 149
深度拆解 Intel OpenVINO 2026.3:MoE 模型磁盘卸载(16GB 运行 30B MoE)、FP8 量化、NNCF、持续批处理、至强 6+ AMX 加速、Omni 多模态流水线等核心新特性,含可运行代码与十大生产踩坑清单。
OpenVINO
Intel
AI推理
模型部署
LLM
MoE
FP8量化
持续批处理
异构计算
NPU
CPU优化
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 390
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
Go 1.27 原生 SIMD 深度拆解:两层 API 如何终结 Go 十年性能之痛,手写一个自适应 CPU 的向量计算库
编程
Go 1.27 原生 SIMD 深度拆解:两层 API 如何终结 Go 十年性能之痛,手写一个自适应 CPU 的向量计算库
2026-08-02 06:43:17 +0800 CST
view 249
从 Issue #73787/#78902/#78979 拆解 Go 1.26/1.27 原生 SIMD 两层 API 设计,附完整代码与性能优化方法论。
Go
SIMD
archsimd
性能优化
AVX-512
编译器
向量化
Go 1.27
Go 十年 SIMD 之痛终结:archsimd 与可移植 simd 包全拆解,手写自动适配 AVX2/AVX-512 的向量计算库
编程
Go 十年 SIMD 之痛终结:archsimd 与可移植 simd 包全拆解,手写自动适配 AVX2/AVX-512 的向量计算库
2026-08-02 06:44:17 +0800 CST
view 175
从 Issue #73787/#78902/#78979 拆解 Go 1.26/1.27 原生 SIMD 两层 API 设计,附完整代码与性能优化方法论。
Go
SIMD
archsimd
性能优化
AVX-512
编译器
向量化
Go 1.27
TurboQuant 深度实战:Google 的 KV 缓存压缩算法完全指南(2026)
编程
TurboQuant 深度实战:Google 的 KV 缓存压缩算法完全指南(2026)
2026-06-08 20:52:38 +0800 CST
view 484
2026年3月Google Research在ICLR 2026发表TurboQuant算法,将LLM的KV缓存压缩至3-bit,实现6倍内存缩减和8倍推理加速。本文深入剖析TurboQuant的技术原理,并提供生产级部署指南。
TurboQuant
KV缓存压缩
LLM推理优化
量化算法
Google Research
ICLR2026
Polars 深度拆解:当 DataFrame 学会「延迟计算」——用 Rust + Apache Arrow + 查询优化器重写数据分析的心智模型
编程
Polars 深度拆解:当 DataFrame 学会「延迟计算」——用 Rust + Apache Arrow + 查询优化器重写数据分析的心智模型
2026-07-15 15:46:12 +0800 CST
view 227
从工程师视角深度拆解 Polars:Rust + Apache Arrow 列式内存、表达式系统、查询优化器(投影/谓词下推、公共子表达式消除)、多线程 SIMD 与 Streaming 流式引擎,配完整代码实战与 7 个性能优化技巧。
Polars
Rust
数据分析
DataFrame
查询优化器
高性能计算
Apache Arrow
流式计算
向量化
Python
DeepSeek V4 架构全拆解:MLA 压缩、MoE 动态路由与 1.6T 参数的工程哲学——从训练到推理的全栈重构
编程
DeepSeek V4 架构全拆解:MLA 压缩、MoE 动态路由与 1.6T 参数的工程哲学——从训练到推理的全栈重构
2026-08-03 00:13:26 +0800 CST
view 202
深度拆解 DeepSeek V4 四大核心架构创新:MLA 16x KV Cache 压缩、MoE-Routing v2 Token级动态路由、HAAA混合注意力、antirez ds4.c推理引擎,附完整代码示例与生产部署指南
DeepSeek
MoE
MLA
KV Cache
大模型
AI推理
开源
性能优化
混合注意力
量化
Rust core::simd 跑进 GPU warp:VectorWare 把 SIMT 还原成 SIMD 的那一刀——从 lane 映射到类型化 Warp IR 的全链路拆解
编程
Rust core::simd 跑进 GPU warp:VectorWare 把 SIMT 还原成 SIMD 的那一刀——从 lane 映射到类型化 Warp IR 的全链路拆解
2026-08-11 05:20:02 +0800 CST
view 81
深度拆解 VectorWare 让 Rust portable SIMD 跑上 GPU:为何 SIMT 本质就是 SIMD、warp-as-thread 与 lane-as-simd-lane 的双层映射、四类算子到 shfl.sync/vote.sync/redux.sync 的下降路径、类型化 Warp IR 如何用 const generic 杜绝非法程序、strip mining 与掩码加载实战、寄存器压力与横向算子同步点的性能陷阱,含十四条踩坑清单。
Rust
core::simd
GPU编程
SIMT
CUDA
PTX
warp
portable SIMD
rust-gpu
异构计算
向量化
VectorWare
性能优化
编译器
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
编程
大模型推理引擎实战:从 PagedAttention、Continuous Batching 到投机解码与量化部署,把 GPU 利用率榨到极限(vLLM/SGLang 2026 完全指南)
2026-07-09 09:17:24 +0800 CST
view 504
深入剖析 2026 年大模型推理引擎核心技术:PagedAttention、Continuous Batching、Chunked Prefill、RadixAttention 前缀缓存、投机解码与 AWQ/GPTQ/FP8 量化,结合 vLLM 与 SGLang 部署实战,把 GPU 利用率榨到极限的生产级完全指南。
LLM推理引擎
vLLM
SGLang
推理优化
量化部署
投机解码
GPU利用率
KV Cache
PagedAttention
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
编程
vLLM 推理引擎源码级拆解:PagedAttention 显存虚拟化、Continuous Batching 调度与量化落地全指南
2026-07-27 03:44:38 +0800 CST
view 193
从显存字节到 CUDA kernel 源码级拆解 vLLM:PagedAttention 分页显存管理、Continuous Batching 连续批处理调度、Prefix Caching 前缀缓存与量化/投机解码实战,附完整代码与生产调参踩坑清单。
vLLM
PagedAttention
大模型推理
KV Cache
显存优化
连续批处理
量化
LLM Serving
LLM 推理优化全景实战:从 PagedAttention 到投机解码——让大模型推理成本下降 70% 的技术革命(2026)
编程
LLM 推理优化全景实战:从 PagedAttention 到投机解码——让大模型推理成本下降 70% 的技术革命(2026)
2026-05-30 15:42:55 +0800 CST
view 616
深度解析 LLM 推理优化的核心技术:PagedAttention 内存管理革命、投机解码加速策略、INT4/FP8 量化技术、MoE 架构优化,从架构原理到代码实战,让大模型推理成本下降 70%。
LLM
推理优化
vLLM
PagedAttention
投机解码
量化
MoE
Go SIMD 深度拆解:当 Gopher 终于不用手写汇编——从 archsimd 两层模型到可移植 simd 包的「性能下半场」
编程
Go SIMD 深度拆解:当 Gopher 终于不用手写汇编——从 archsimd 两层模型到可移植 simd 包的「性能下半场」
2026-08-12 07:18:45 +0800 CST
view 57
Go SIMD 全链路深度拆解:为什么 Go 十年没有 SIMD(Plan9 汇编五宗罪、自动向量化被语义堵死)、两层模型(archsimd 对标 syscall、simd 对标 os)、Mask 不透明设计与命名哲学之争、点积/字节扫描/图像灰度化/可移植层四个代码实战、四累加器打破依赖链、AVX-512 降频陷阱、算术强度与分块优化、差分测试与 benchmark 四坑,附 15 条落地清单。
Go
SIMD
archsimd
向量化
性能优化
编译器
Go 1.27
AVX2
AVX-512
并行计算
TensorRT-LLM 深度实战:从 Blackwell 架构到 INT4 量化的 LLM 推理性能革命
编程
TensorRT-LLM 深度实战:从 Blackwell 架构到 INT4 量化的 LLM 推理性能革命
2026-05-22 06:19:51 +0800 CST
view 804
深入解析TensorRT-LLM推理框架,从Paged KV Cache、连续批处理到INT4/INT8/FP8量化实战,覆盖Blackwell架构适配、Triton部署与K8s生产方案
TensorRT-LLM
LLM推理
量化
INT4
Blackwell
GPU优化
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 324
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
编程
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
2026-04-09 03:15:44 +0800 CST
view 1134
2026年TensorRT-LLM v0.19全面解析:Skip Softmax稀疏注意力、Paged KV Cache显存管理、INT8/INT4低比特量化完整实战,Blackwell架构适配指南,70B模型单卡部署方案
TensorRT-LLM
低比特量化
Blackwell
INT8
INT4
推理优化
NVIDIA
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
编程
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
2026-08-12 11:14:56 +0800 CST
view 79
深度拆解 2026 年四大主流推理框架 vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 的核心技术、性能对比与选型指南,涵盖 PagedAttention、Continuous Batching、量化优化、分布式推理与生产踩坑清单。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
KV Cache
PagedAttention
推理优化
量化
分布式推理
ClickHouse 深度拆解:当关系型数据库学会「按列思考」——从 MergeTree 引擎、向量化执行到稀疏索引与生产级 OLAP 完全指南(2026)
编程
ClickHouse 深度拆解:当关系型数据库学会「按列思考」——从 MergeTree 引擎、向量化执行到稀疏索引与生产级 OLAP 完全指南(2026)
2026-07-17 02:44:42 +0800 CST
view 267
深度拆解 ClickHouse v25.8 LTS:从列存与向量化执行原理、MergeTree 引擎家族、稀疏主键索引、物理存储布局,到物化视图、跳数索引、Kafka 接入与 Python 实战、生产级性能优化完全指南。
ClickHouse
OLAP
列式存储
MergeTree
向量化执行
物化视图
数据分析
数据库
RLX 深度拆解:MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
编程
RLX 深度拆解:MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
2026-08-04 01:43:34 +0800 CST
view 170
深度拆解MIT RLX纯Rust ML编译器架构:统一IR贯穿图优化到内核调度、15种硬件后端支持、JAX形自动微分、INT8量化感知训练、FPGA综合、Iroh NAT穿透分布式训练,附完整代码示例与性能优化实战指南
RLX
Rust
ML编译器
张量IR
自动微分
边缘计算
WebGPU
CUDA
Apple Silicon
量化部署
开源
Intel OpenVINO 2026.3 深度拆解:当推理工具包决定拥抱 Agentic AI——从 MoE 磁盘卸载到 GenAI 三条流水线全链路实战
编程
Intel OpenVINO 2026.3 深度拆解:当推理工具包决定拥抱 Agentic AI——从 MoE 磁盘卸载到 GenAI 三条流水线全链路实战
2026-08-12 14:45:58 +0800 CST
view 72
深度拆解 Intel OpenVINO 2026.3:MoE 磁盘卸载让 300 亿参数模型跑在 16GB 内存、三条 GenAI 新流水线(多模态 Omni/ASR/嵌入生成)、FP8 量化和持续批处理全链路实战,配完整 Python 代码与 15 条生产踩坑清单
OpenVINO
Intel
AI推理
MoE
GenAI
边缘计算
模型压缩
FP8量化
持续批处理
推测解码
Kronos 深度拆解:34K Star 的金融 K 线「大模型」,为什么说时间序列预测也迎来了自己的 GPT 时刻
编程
Kronos 深度拆解:34K Star 的金融 K 线「大模型」,为什么说时间序列预测也迎来了自己的 GPT 时刻
2026-07-28 06:43:51 +0800 CST
view 237
深度拆解 34K Star 的 AAAI 2026 开源项目 Kronos:首个金融 K 线基础模型,分层量化 Tokenizer + 自回归 Transformer 架构解析,附预测/批量推理/Qlib 微调 A 股实战与五条生产落地建议。
Kronos
时间序列
基础模型
量化交易
K线预测
Transformer
Qlib
金融AI
开源
深度学习
FinceptTerminal 深度实战:当金融终端遇见C++20原生性能——从Bloomberg颠覆者到37个AI Agent的生产级完全指南(2026)
编程
FinceptTerminal 深度实战:当金融终端遇见C++20原生性能——从Bloomberg颠覆者到37个AI Agent的生产级完全指南(2026)
2026-06-16 05:46:53 +0800 CST
view 450
Bloomberg Terminal年费$24,000,FinceptTerminal以C++20+Qt6+嵌入式Python打造开源替代方案。深度剖析三层架构、现代C++20特性、Qt6渲染优化、Python零拷贝集成、GPU加速蒙特卡洛模拟,附完整可运行代码示例。
C++20
Qt6
金融终端
量化分析
Bloomberg替代
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
53
下一页