程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
编程
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
2026-05-18 08:22:35 +0800 CST
view 14
全面解析 vLLM 推理引擎的核心架构,从 PagedAttention 原理到生产级部署实战,涵盖量化推理、多GPU并行、性能调优等完整技术栈
vLLM
LLM推理
PagedAttention
GPU优化
量化推理
深度解析
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 136
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 109
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
AI量化交易多智能体框架深度解析:从TradingAgents到Qlib,一场颠覆传统量化投资的技术革命
编程
AI量化交易多智能体框架深度解析:从TradingAgents到Qlib,一场颠覆传统量化投资的技术革命
2026-04-22 02:49:55 +0800 CST
view 332
深入剖析TradingAgents、Qlib、VeighNa三大AI量化交易框架的技术架构与实战方法,从多智能体协作到工业级部署,一篇搞定AI量化的核心技术与最佳实践。
AI量化交易
多智能体
TradingAgents
Qlib
VeighNa
Python
量化投资
LLM
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
编程
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39 +0800 CST
view 351
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构:分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比,提供生产级部署实战指南。
Google
端侧AI
LiteRT-LM
WebGPU
量化
KV Cache
TensorFlow Lite
LLM推理
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
编程
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31 +0800 CST
view 272
深度对比vLLM与TensorRT-LLM两大LLM推理框架,从PagedAttention到Kernel Fusion,从量化技术到生产部署,助你做出正确的技术选型决策
LLM
vLLM
TensorRT-LLM
推理优化
大模型部署
量化技术
AI工程
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
编程
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
2026-05-17 10:21:56 +0800 CST
view 25
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
编程
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
2026-05-17 10:22:13 +0800 CST
view 26
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
River-LLM 深度解析:上交大如何让大模型推理速度翻倍,却几乎不损失精度
编程
River-LLM 深度解析:上交大如何让大模型推理速度翻倍,却几乎不损失精度
2026-05-02 19:05:49 +0800 CST
view 114
深入解析上海交通大学 River-LLM 框架:通过退出层与骨干层共享 KV 缓存,解决早期退出的缓存缺失难题,实现 1.71x-2.16x 推理加速,几乎不损失精度。
LLM
推理优化
KV缓存
早期退出
量化
上海交通大学
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
编程
BitNet b1.58 深度解析:微软如何用1.58位量化颠覆大模型推理范式
2026-04-23 19:09:57 +0800 CST
view 220
深度解析微软开源的BitNet b1.58 2B4T模型,从1.58位三值量化原理、架构设计、性能对比到部署实战,全面剖析这个仅需0.4GB内存、在普通CPU上流畅运行的革命性大语言模型。
BitNet
量化
大模型
微软
CPU推理
边缘计算
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
编程
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
2026-05-07 03:35:48 +0800 CST
view 139
深度解析微软 BitNet 1-bit LLM 推理框架,从三值量化数学原理到 bitnet.cpp 内核优化,再到 CPU 原生推理实战部署的全链路架构解析
BitNet
1-bit LLM
量化
CPU推理
微软
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
编程
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
2026-05-15 17:47:40 +0800 CST
view 71
深入解析 antirez(Redis 作者)新开源项目 ds4:DwarfStar 4 本地推理引擎,专门为 DeepSeek V4 Flash 打造,支持 Metal/CUDA 后端,2-bit 量化可在 96GB 内存 MacBook 上运行 284B 参数模型。
AI推理
本地部署
DeepSeek
Redis
Apple Silicon
CUDA
Metal
MoE
量化
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
编程
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
2026-04-09 03:15:44 +0800 CST
view 451
2026年TensorRT-LLM v0.19全面解析:Skip Softmax稀疏注意力、Paged KV Cache显存管理、INT8/INT4低比特量化完整实战,Blackwell架构适配指南,70B模型单卡部署方案
TensorRT-LLM
低比特量化
Blackwell
INT8
INT4
推理优化
NVIDIA
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22 +0800 CST
view 239
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
分布式 LLM 推理架构深度实战:从 vLLM 单节点到 llm-d 多集群的生产级演进全链路解析
编程
分布式 LLM 推理架构深度实战:从 vLLM 单节点到 llm-d 多集群的生产级演进全链路解析
2026-05-09 03:39:58 +0800 CST
view 174
深度解析分布式 LLM 推理架构,从 vLLM 单节点到 llm-d 多集群的生产级演进。涵盖推理引擎层、编排调度层、Kubernetes 多机多卡部署实战、性能优化技巧及成本优化策略。
LLM
vLLM
分布式推理
Kubernetes
Ray
推理引擎
零成本跑AI股票分析,29.9K Star开源神器来了
编程
零成本跑AI股票分析,29.9K Star开源神器来了
2026-04-18 19:05:22 +0800 CST
view 284
go-stock开源股票分析工具,AI赋能股票分析、选股、盯盘、报警推送,29.9K Stars
开源
Python
AI
股票
量化交易
工具
Fincept Terminal 深度解析:C++20 重写的开源金融终端,如何把彭博级分析塞进每个人的桌面
编程
Fincept Terminal 深度解析:C++20 重写的开源金融终端,如何把彭博级分析塞进每个人的桌面
2026-04-30 07:18:33 +0800 CST
view 428
深入解析 Fincept Terminal v4 的 C++20+Qt6+嵌入式Python三层架构、37个AI投资大师Agent系统、CFA级量化分析引擎、16家券商交易集成、节点编辑器与MCP协议——看开源如何重塑金融数据基础设施
C++
Qt6
金融终端
开源
AI Agent
量化分析
Fincept Terminal
彭博终端
71.4K Stars!TradingAgents 如何用多智能体重构金融交易决策流程
编程
71.4K Stars!TradingAgents 如何用多智能体重构金融交易决策流程
2026-05-11 10:22:31 +0800 CST
view 134
TradingAgents 在 GitHub 斩获 71.4K+ Stars,用多智能体模拟华尔街投研团队:基本面、情绪、新闻、技术分析师协作,看多看空研究员辩论,风控把关,组合经理审批。本文深度解析五层架构、辩论机制、LangGraph 工作流、风控体系,以及如何用 Docker 一键部署你的 AI 投研团队。
TradingAgents
多智能体
金融AI
LangGraph
投资决策
Agent架构
量化交易
风控体系
Fincept Terminal 深度解析:GitHub开源的专业级金融分析终端,如何用AI重构金融分析工作流
编程
Fincept Terminal 深度解析:GitHub开源的专业级金融分析终端,如何用AI重构金融分析工作流
2026-05-02 14:35:29 +0800 CST
view 193
深度解析GitHub开源项目Fincept Terminal,一款专业级金融分析终端,介绍其技术架构、核心功能、代码实战及AI驱动金融分析工作流重构
金融分析
AI
开源项目
Fincept Terminal
量化交易
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
编程
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
2026-04-12 22:56:41 +0800 CST
view 357
2026年深度解析 llama.cpp 架构设计与 GGUF 量化格式,从底层原理到工程实战,涵盖 K-Quant/IQ 量化、Flash Attention、KV Cache 优化、Intel NPU/GPU 部署全流程。
llama.cpp
GGUF
量化
大模型
C++
本地部署
NautilusTrader 深度解析:Rust + Python 如何重新定义高性能量化交易引擎——从事件驱动架构到确定性回测的全链路技术实战
编程
NautilusTrader 深度解析:Rust + Python 如何重新定义高性能量化交易引擎——从事件驱动架构到确定性回测的全链路技术实战
2026-05-03 09:24:51 +0800 CST
view 102
深度解析 20K Star 的 NautilusTrader:Rust 内核 + Python 控制面的高性能量化交易引擎。从六边形架构、事件驱动、确定性回测到 Crash-Only Design,附完整代码实战
Rust
Python
量化交易
事件驱动
回测
高频交易
算法交易
PyO3
NautilusTrader
2026年端侧AI千亿参数突破深度解析:从量化技术到NPU架构,手机如何跑赢云端大模型
编程
2026年端侧AI千亿参数突破深度解析:从量化技术到NPU架构,手机如何跑赢云端大模型
2026-04-22 03:52:11 +0800 CST
view 270
深度解析2026年端侧AI千亿参数突破的技术原理:从INT4量化到MoE架构,从存算一体NPU到动态内存优化,揭示手机如何跑赢云端大模型的核心工程密码。
AI
端侧AI
大模型
量化
NPU
TradingAgents 深度解析:63K Star 的多智能体金融交易框架——从架构设计到 LLM 协作的全链路技术实战
编程
TradingAgents 深度解析:63K Star 的多智能体金融交易框架——从架构设计到 LLM 协作的全链路技术实战
2026-05-04 07:54:03 +0800 CST
view 122
深度解析 63K Star 的 TradingAgents 多智能体金融交易框架,从架构设计、LLM 协作机制、多空辩论到实战部署的全链路技术实战
TradingAgents
多智能体
LLM
量化交易
LangGraph
金融科技
Python
DuckDB 1.5.0 "Variegata" 深度解析:嵌入式分析数据库的性能巅峰
编程
DuckDB 1.5.0 "Variegata" 深度解析:嵌入式分析数据库的性能巅峰
2026-05-12 08:14:38 +0800 CST
view 106
深度解析DuckDB 1.5.0核心新特性:VARIANT数据类型支持半结构化数据、GEOMETRY空间数据类型成为内置类型、SIMD指令集深度优化使聚合查询性能提升3-5倍、全新CLI客户端提升开发体验、DuckLake v1.0湖仓一体格式支持,附物联网与电商实战案例与性能Benchmark
DuckDB 1.5
嵌入式分析
OLAP
VARIANT类型
GEOMETRY空间数据
SIMD优化
向量化执行
DuckLake
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
下一页