程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Fincept Terminal 深度解析:C++20 重写的开源金融终端,如何把彭博级分析塞进每个人的桌面
编程
Fincept Terminal 深度解析:C++20 重写的开源金融终端,如何把彭博级分析塞进每个人的桌面
2026-04-30 07:18:33 +0800 CST
view 663
深入解析 Fincept Terminal v4 的 C++20+Qt6+嵌入式Python三层架构、37个AI投资大师Agent系统、CFA级量化分析引擎、16家券商交易集成、节点编辑器与MCP协议——看开源如何重塑金融数据基础设施
C++
Qt6
金融终端
开源
AI Agent
量化分析
Fincept Terminal
彭博终端
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
编程
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39 +0800 CST
view 626
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构:分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比,提供生产级部署实战指南。
Google
端侧AI
LiteRT-LM
WebGPU
量化
KV Cache
TensorFlow Lite
LLM推理
ds4 深度实战:当 Redis 之父用纯 C 重写本地推理引擎——从 KV 缓存磁盘持久化到 Metal 极致优化的完全指南
编程
ds4 深度实战:当 Redis 之父用纯 C 重写本地推理引擎——从 KV 缓存磁盘持久化到 Metal 极致优化的完全指南
2026-06-11 07:51:35 +0800 CST
view 116
Redis之父antirez新作ds4深度解析:非对称2-bit量化、KV缓存磁盘持久化、Metal极致优化,284B模型在MacBook上跑出26 tok/s的完全指南
ds4
DeepSeek
本地推理
Metal
KV缓存
量化
antirez
Redis
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
编程
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31 +0800 CST
view 488
深度对比vLLM与TensorRT-LLM两大LLM推理框架,从PagedAttention到Kernel Fusion,从量化技术到生产部署,助你做出正确的技术选型决策
LLM
vLLM
TensorRT-LLM
推理优化
大模型部署
量化技术
AI工程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 1127
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
31GB压缩到4GB:turbovec与TurboQuant算法深度解析——比FAISS快20%的向量索引黑科技(ICLR 2026)
编程
31GB压缩到4GB:turbovec与TurboQuant算法深度解析——比FAISS快20%的向量索引黑科技(ICLR 2026)
2026-06-12 12:19:14 +0800 CST
view 131
基于ICLR 2026论文TurboQuant,深度解析turbovec开源项目:31GB向量压缩到4GB、搜索比FAISS快20%的数学原理、SIMD工程实现与生产级RAG集成实战
向量索引
向量量化
TurboQuant
RAG
FAISS
Rust
Python
SIMD
ICLR 2026
高维向量
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
编程
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
2026-05-17 10:21:56 +0800 CST
view 336
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
编程
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
2026-05-17 10:22:13 +0800 CST
view 293
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
River-LLM 深度解析:上交大如何让大模型推理速度翻倍,却几乎不损失精度
编程
River-LLM 深度解析:上交大如何让大模型推理速度翻倍,却几乎不损失精度
2026-05-02 19:05:49 +0800 CST
view 270
深入解析上海交通大学 River-LLM 框架:通过退出层与骨干层共享 KV 缓存,解决早期退出的缓存缺失难题,实现 1.71x-2.16x 推理加速,几乎不损失精度。
LLM
推理优化
KV缓存
早期退出
量化
上海交通大学
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
编程
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
2026-04-12 22:56:41 +0800 CST
view 623
2026年深度解析 llama.cpp 架构设计与 GGUF 量化格式,从底层原理到工程实战,涵盖 K-Quant/IQ 量化、Flash Attention、KV Cache 优化、Intel NPU/GPU 部署全流程。
llama.cpp
GGUF
量化
大模型
C++
本地部署
2026年端侧AI千亿参数突破深度解析:从量化技术到NPU架构,手机如何跑赢云端大模型
编程
2026年端侧AI千亿参数突破深度解析:从量化技术到NPU架构,手机如何跑赢云端大模型
2026-04-22 03:52:11 +0800 CST
view 432
深度解析2026年端侧AI千亿参数突破的技术原理:从INT4量化到MoE架构,从存算一体NPU到动态内存优化,揭示手机如何跑赢云端大模型的核心工程密码。
AI
端侧AI
大模型
量化
NPU
DuckDB 1.5.0 "Variegata" 深度解析:嵌入式分析数据库的性能巅峰
编程
DuckDB 1.5.0 "Variegata" 深度解析:嵌入式分析数据库的性能巅峰
2026-05-12 08:14:38 +0800 CST
view 340
深度解析DuckDB 1.5.0核心新特性:VARIANT数据类型支持半结构化数据、GEOMETRY空间数据类型成为内置类型、SIMD指令集深度优化使聚合查询性能提升3-5倍、全新CLI客户端提升开发体验、DuckLake v1.0湖仓一体格式支持,附物联网与电商实战案例与性能Benchmark
DuckDB 1.5
嵌入式分析
OLAP
VARIANT类型
GEOMETRY空间数据
SIMD优化
向量化执行
DuckLake
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
编程
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
2026-05-18 08:22:35 +0800 CST
view 415
全面解析 vLLM 推理引擎的核心架构,从 PagedAttention 原理到生产级部署实战,涵盖量化推理、多GPU并行、性能调优等完整技术栈
vLLM
LLM推理
PagedAttention
GPU优化
量化推理
深度解析
DwarfStar 4 深度实战:当 Redis 之父手写 AI 推理引擎——从 284B MoE 模型塞进 MacBook 到生产级本地 Agent 的完全指南(2026)
编程
DwarfStar 4 深度实战:当 Redis 之父手写 AI 推理引擎——从 284B MoE 模型塞进 MacBook 到生产级本地 Agent 的完全指南(2026)
2026-06-13 20:17:57 +0800 CST
view 100
Redis之父antirez新作DwarfStar 4深度解析:专为DeepSeek V4 Flash打造的本地推理引擎,非对称2-bit量化、磁盘KV缓存、Metal图执行、分布式推理、方向引导,MacBook上284B模型跑出26 tok/s的完全指南
ds4
DwarfStar
DeepSeek
本地推理
Metal
MoE
量化
KV缓存
嵌入式AI模型部署实战:从服务器到Arduino的模型压缩与优化指南
编程
嵌入式AI模型部署实战:从服务器到Arduino的模型压缩与优化指南
2026-05-13 17:55:43 +0800 CST
view 249
本文详细介绍如何将训练好的神经网络部署到Arduino、树莓派等嵌入式设备,涵盖模型量化、剪枝、知识蒸馏三大压缩技术,以及不同硬件平台的部署方案和实战经验。
嵌入式AI
模型部署
神经网络压缩
Arduino
树莓派
模型量化
Microsoft BitNet 深度实战:1比特大模型推理框架——让CPU跑起千亿参数模型的技术革命(2026完全指南)
编程
Microsoft BitNet 深度实战:1比特大模型推理框架——让CPU跑起千亿参数模型的技术革命(2026完全指南)
2026-05-26 12:35:43 +0800 CST
view 182
深入解析 Microsoft BitNet 1比特大模型推理框架,从原理到实战,让CPU跑起千亿参数模型。包含完整代码示例、性能优化策略和应用场景分析。
BitNet
模型量化
大模型推理
CPU推理
1-bit LLM
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
编程
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
2026-04-23 19:09:57 +0800 CST
view 394
深度解析微软开源的BitNet b1.58 2B4T模型,从1.58位三值量化原理、架构设计、性能对比到部署实战,全面剖析这个仅需0.4GB内存、在普通CPU上流畅运行的革命性大语言模型。
BitNet
量化
大模型
微软
CPU推理
边缘计算
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 322
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
DwarfStar 4 深度实战:当 Redis 之父用 C 语言重新发明本地推理——从磁盘 KV 一等公民到 284B 模型跑进 MacBook 的工程完全指南(2026)
编程
DwarfStar 4 深度实战:当 Redis 之父用 C 语言重新发明本地推理——从磁盘 KV 一等公民到 284B 模型跑进 MacBook 的工程完全指南(2026)
2026-06-14 09:48:41 +0800 CST
view 88
Redis之父antirez的ds4项目深度解析:非对称2-bit量化、磁盘KV缓存一等公民、session_sync增量推理、方向引导、分布式推理的工程实战指南
ds4
DwarfStar
本地推理
DeepSeek
MoE
KV缓存
antirez
Metal
量化
端侧大模型深度解析:当AI走出云端、住进你的手机——从千亿参数到4B模型的边缘智能革命
编程
端侧大模型深度解析:当AI走出云端、住进你的手机——从千亿参数到4B模型的边缘智能革命
2026-04-15 21:23:26 +0800 CST
view 431
2026年端侧大模型技术深度解析:从千亿参数云端模型到4B端侧模型的工程革命,涵盖量化、蒸馏、架构优化与Mano-P实战案例
端侧大模型
边缘AI
模型量化
知识蒸馏
Mano-P
GUI智能体
TinyML
AI手机
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
编程
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
2026-05-28 19:13:18 +0800 CST
view 241
DwarfStar(ds4)是Redis创始人antirez开发的DeepSeek V4 Flash专用推理引擎,支持Metal与CUDA双轨优化、磁盘KV Cache、imatrix量化和原生Agent集成。本文深入解析其架构设计与性能表现。
DeepSeek
ds4
Metal
CUDA
本地推理
MoE
量化
GGUF
Agent
Python
C
turbovec 深度实战:当 Google 把向量索引做到「内存极简」——从 TurboQuant 算法到生产级 Rust SIMD 检索引擎的完全指南(2026)
编程
turbovec 深度实战:当 Google 把向量索引做到「内存极简」——从 TurboQuant 算法到生产级 Rust SIMD 检索引擎的完全指南(2026)
2026-06-14 14:51:19 +0800 CST
view 74
基于 Google Research ICLR 2026 TurboQuant 算法,深度拆解 turbovec 如何用 4-bit 量化将向量索引内存压缩 16 倍,同时搜索速度超越 FAISS。涵盖算法原理、Rust SIMD 内核、过滤搜索与生产级 RAG 集成。
Rust
SIMD
向量检索
TurboQuant
turbovec
向量量化
RAG
FAISS
PyO3
SIMD加速
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
编程
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
2026-05-07 03:35:48 +0800 CST
view 314
深度解析微软 BitNet 1-bit LLM 推理框架,从三值量化数学原理到 bitnet.cpp 内核优化,再到 CPU 原生推理实战部署的全链路架构解析
BitNet
1-bit LLM
量化
CPU推理
微软
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 243
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
下一页