程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
编程
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
2026-07-24 07:44:31
view 285
KTransformers 通过 CPU/GPU 异构计算,让一块 RTX 5090(32GB 显存)能跑起 100B+ MoE 大模型,且无需量化压缩,保持原精度 FP16。实测比 llama.cpp Q8_0 快 4.5 倍。本文深度拆解其专家细粒度卸载、异步预取、DMA 优化等核心技术,以及实战部署指南。
KTransformers
LLM推理
MoE
异构计算
DeepSeek
SGLang
CPU Offload
本地部署
GPU优化
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
编程
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
2026-06-30 11:16:18
view 409
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
编程
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31
view 979
深度对比vLLM与TensorRT-LLM两大LLM推理框架,从PagedAttention到Kernel Fusion,从量化技术到生产部署,助你做出正确的技术选型决策
LLM
vLLM
TensorRT-LLM
推理优化
大模型部署
量化技术
AI工程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
编程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
2026-06-30 11:17:15
view 498
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
Redis 8 深度实战:把缓存变成生产级向量数据库——HNSW 索引、RediSearch 内核与 Spring AI RAG 全链路完全指南
编程
Redis 8 深度实战:把缓存变成生产级向量数据库——HNSW 索引、RediSearch 内核与 Spring AI RAG 全链路完全指南
2026-07-12 05:41:10
view 282
Redis 8 收编 RediSearch,原生支持 HNSW 向量索引。详解向量检索原理、HNSW 调参、FT.CREATE 实战,并接 Spring AI 2.0 搭生产级 RAG 后端。
Redis 8
RediSearch
向量数据库
HNSW
RAG
Spring AI
近似最近邻
语义检索
LCLM 深度实战:当「潜在上下文」颠覆大模型记忆困境——从 8.8 倍速提升到工业级部署的完整指南(2026)
编程
LCLM 深度实战:当「潜在上下文」颠覆大模型记忆困境——从 8.8 倍速提升到工业级部署的完整指南(2026)
2026-06-17 08:57:22
view 425
深入解析2026年LCLM潜在上下文语言模型,8.8倍速度提升背后的技术原理与工业级部署实战,含完整代码示例与性能对比。
大模型
上下文压缩
KV缓存
LCLM
Transformer
AI优化
推理加速
当「潜在上下文」颠覆大模型记忆困境:LCLM 8.8 倍速提升完整拆解与工业部署指南(2026)
编程
当「潜在上下文」颠覆大模型记忆困境:LCLM 8.8 倍速提升完整拆解与工业部署指南(2026)
2026-06-17 08:57:46
view 448
深入解析2026年LCLM潜在上下文语言模型,8.8倍速度提升背后的技术原理与工业级部署实战,含完整代码示例与性能对比。
大模型
上下文压缩
KV缓存
LCLM
Transformer
AI优化
推理加速
腾讯云 PostgreSQL × DuckDB:一条 SQL 开启 OLAP + AI 超能力,一库多态的 HTAP 革命
编程
腾讯云 PostgreSQL × DuckDB:一条 SQL 开启 OLAP + AI 超能力,一库多态的 HTAP 革命
2026-07-24 12:15:51
view 211
深度解析腾讯云 PostgreSQL × DuckDB:向量化执行引擎、列存存储、HNSW 向量索引、RAG 检索、Agent 数据分析,从架构原理到实战代码,12000 字完整覆盖 HTAP 革命。
PostgreSQL
DuckDB
HTAP
OLAP
向量化执行
列存
向量检索
HNSW
RAG
AI
Unsloth 深度实战:从 Triton 内核优化到 70% 显存压缩——2026 年 LLM 本地微调的工业级完全指南
编程
Unsloth 深度实战:从 Triton 内核优化到 70% 显存压缩——2026 年 LLM 本地微调的工业级完全指南
2026-05-23 20:00:37
view 641
深度剖析 Unsloth 如何通过手写 Triton 内核、智能显存管理和 LoRA/QLoRA 优化,实现训练速度 2-5 倍提升、显存占用降低 70% 的技术奇迹。
LLM
微调
Unsloth
LoRA
深度学习
Transformers.js v4 深度解析:WebGPU 原生化让 AI 推理在 Node/Bun/Deno 中真正起飞
编程
Transformers.js v4 深度解析:WebGPU 原生化让 AI 推理在 Node/Bun/Deno 中真正起飞
2026-04-12 04:55:32
view 1127
深度解析 Transformers.js v4 的 WebGPU 原生化架构:如何用 C++ 重写 WebGPU Runtime、与 ONNX Runtime 深度集成、在 Node/Bun/Deno 中实现原生 GPU AI 推理。包含代码实战、性能对比与生产部署指南。
JavaScript
AI
WebGPU
Transformers
HuggingFace
Node.js
Bun
Deno
ONNX
DeepGEMM 深度解析:DeepSeek 开源的 FP8 GEMM 内核如何重塑 AI 推理性能边界
编程
DeepGEMM 深度解析:DeepSeek 开源的 FP8 GEMM 内核如何重塑 AI 推理性能边界
2026-04-21 05:16:09
view 1197
深入剖析 DeepSeek 开源的 DeepGEMM 库:从 FP8 精度革命到 1550 TFLOPS 性能突破,揭秘现代 AI 推理基础设施的底层优化技术
DeepGEMM
FP8
DeepSeek
CUDA
AI推理
GPU优化
GEMM
TensorCore
NVIDIA Cosmos 3 深度实战:当世界模型重塑 Physical AI——从 MoT 架构到机器人策略的生产级完全指南(2026)
编程
NVIDIA Cosmos 3 深度实战:当世界模型重塑 Physical AI——从 MoT 架构到机器人策略的生产级完全指南(2026)
2026-06-12 15:50:50
view 772
深入解析 NVIDIA Cosmos 3 全模态物理 AI 世界模型:MoT 双塔架构、统一动作表征、3D MRoPE 位置编码,以及 Hugging Face 实战代码。适合机器人、自动驾驶、AI 研究者和工程师。
NVIDIA
Cosmos
世界模型
Physical AI
MoT
机器人
Transformer
具身智能
React 19 useActionState 深度解析:从三Hook协作到循环队列调度的内核级剖析
编程
React 19 useActionState 深度解析:从三Hook协作到循环队列调度的内核级剖析
2026-05-17 12:44:17
view 750
React 19 useActionState 深度解析,从三Hook协作、循环队列调度、Transition上下文恢复到Thenable状态追踪,源码级剖析内核实现机制。
React 19
useActionState
React Hooks
前端框架
源码分析
Ruflo深度解析:从单兵作战到AI蜂群指挥系统——40+K Stars的多智能体编排引擎全维度技术剖析
编程
Ruflo深度解析:从单兵作战到AI蜂群指挥系统——40+K Stars的多智能体编排引擎全维度技术剖析
2026-05-11 18:28:13
view 798
Ruflo(48K+ Stars,v3.6.30)是面向Claude Code的多智能体编排平台,用100+专业化Agent、分布式共识算法和自学习记忆系统,让AI从单兵作战升级为蜂群协作。
Ruflo,Claude Code,多智能体编排,AI编程,Swarm协调,分布式共识,Agent,AI Agent,SONA,HNSW,Rust,WASM
Kotlin原生AI Agent框架新标杆:JetBrains官方Koog如何让JVM生态优雅拥抱AI智能体
编程
Kotlin原生AI Agent框架新标杆:JetBrains官方Koog如何让JVM生态优雅拥抱AI智能体
2026-05-11 19:11:17
view 811
Koog是JetBrains官方推出的Kotlin原生AI Agent框架,让JVM开发者用熟悉的协程和DSL构建生产级AI智能体,支持JVM/JS/Wasm/iOS多平台。
Kotlin
JVM
AI Agent
JetBrains
Koog
MiniMax H3 深度拆解:当多模态生成决定「用一个模型替代所有专家」——从 Contextual Omni Representation 到 In-context Regeneration,一个开源的全模态统一模型如何用「去任务化」重新定义 AI 创作的终极形态
编程
MiniMax H3 深度拆解:当多模态生成决定「用一个模型替代所有专家」——从 Contextual Omni Representation 到 In-context Regeneration,一个开源的全模态统一模型如何用「去任务化」重新定义 AI 创作的终极形态
2026-08-05 19:15:08
view 342
深度拆解MiniMax H3全模态统一架构:Contextual Omni Representation跨模态表征、H3-VAE 4倍压缩视觉编码器、H3-Omni Transformer任务泛化架构、In-context Regeneration上下文内局部重现,附完整代码实战与国产芯片适配指南
MiniMax
H3
多模态
视频生成
开源
AI创作
Contextual Omni Representation
H3-VAE
H3-Omni Transformer
In-context Regeneration
全模态
2.8秒超越4小时调优:TabPFN如何用Transformer重写表格数据机器学习
编程
2.8秒超越4小时调优:TabPFN如何用Transformer重写表格数据机器学习
2026-05-12 00:20:07
view 750
深度解析TabPFN如何用Transformer架构重写表格数据机器学习范式:从合成数据预训练、先验数据拟合原理、2.8秒vs4小时性能对比,到TabPFN-2.5的10万行处理能力与SAP收购战略意义,附完整代码示例
TabPFN,表格数据,Transformer,AutoML,机器学习,XGBoost,PriorLabs,深度学习,基础模型,Python
React Doctor 深度解析:当 AI 写的 React 代码比人类还烂,谁来当主治医师
编程
React Doctor 深度解析:当 AI 写的 React 代码比人类还烂,谁来当主治医师
2026-05-12 03:13:55
view 1023
深度解析React Doctor:AI编程助手生成代码质量诊断工具,0-100健康评分、60+Lint规则、死代码检测、AI Agent集成50+工具、oxlint+ESLint双引擎、GitHub Actions CI/CD、框架自动检测、程序化API
ReactDoctor,React代码质量,AI编程,Million.js,oxlint,ESLint,代码健康分,死代码检测,Lint规则,GitHubActions,ClaudeCode,Cursor集成
Redis 8.x AI 原生深度拆解:从缓存到 AI 实时数据基础设施——向量搜索、语义缓存、Agent Memory 工程实战
编程
Redis 8.x AI 原生深度拆解:从缓存到 AI 实时数据基础设施——向量搜索、语义缓存、Agent Memory 工程实战
2026-07-30 22:43:18
view 264
深度拆解 Redis 8.x 的 AI 原生能力:Vector Sets 原生向量数据类型、HNSW/SVS-VAMANA 向量索引、LangCache 语义缓存、Agent Memory 智能体记忆层、完整 RAG Pipeline 实战,以及生产部署架构决策与渐进式采纳路线。万字长文,代码实战。
Redis
AI原生
向量搜索
语义缓存
Agent Memory
RAG
Spring AI
Vector Sets
HNSW
LangCache
Koog 深度解析:JetBrains 如何用工程化思维重新定义 JVM AI Agent 框架
编程
Koog 深度解析:JetBrains 如何用工程化思维重新定义 JVM AI Agent 框架
2026-04-13 04:23:36
view 826
深入解析 JetBrains 推出的 Koog 框架,了解其如何为 JVM 生态带来可预测、容错、企业级就绪的 AI Agent 开发能力
AI
Agent
JVM
Java
Kotlin
Koog
JetBrains
JetBrains Koog 框架深度解析:构建企业级 JVM AI Agent 的工程实践
编程
JetBrains Koog 框架深度解析:构建企业级 JVM AI Agent 的工程实践
2026-04-13 04:24:23
view 751
深入解析 JetBrains 推出的 Koog 框架,了解其如何为 JVM 生态带来可预测、容错、企业级就绪的 AI Agent 开发能力
AI
Agent
JVM
Java
Kotlin
Koog
JetBrains
从零理解 JetBrains Koog:企业级 JVM AI Agent 框架的设计与实现
编程
从零理解 JetBrains Koog:企业级 JVM AI Agent 框架的设计与实现
2026-04-13 04:25:09
view 831
深入解析 JetBrains 推出的 Koog 框架,了解其如何为 JVM 生态带来可预测、容错、企业级就绪的 AI Agent 开发能力
AI
Agent
JVM
Java
Kotlin
Koog
JetBrains
世界模型深度解析:从预测下一个词到预测世界下一秒——NTP 到 NSP 的范式革命与生产级实战指南
编程
世界模型深度解析:从预测下一个词到预测世界下一秒——NTP 到 NSP 的范式革命与生产级实战指南
2026-07-07 02:12:36
view 387
深度解析2026年最火爆的AI技术——世界模型:从Next Token Prediction到Next-State Prediction的范式革命。涵盖DreamerV3潜在空间动力学、Google Gemini Omni原生多模态世界模型、EvoPhys-World国产GPU训练突破,含完整PyTorch实战代码。
世界模型
World Model
NTP
NSP
Next-State Prediction
DreamerV3
Gemini Omni
PyTorch
AI
万字深度解析 Nano-vLLM:当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南(2026)
编程
万字深度解析 Nano-vLLM:当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南(2026)
2026-07-01 14:44:55
view 381
Nano-vLLM:用约1200行Python代码实现的轻量级vLLM替代方案。深度解析KV Cache管理、GQA注意力、RoPE位置编码、Continuous Batching等核心技术,Benchmark性能超越vLLM 5.3%。适合学习大模型推理原理和内网轻量级部署。
Nano-vLLM
大模型推理
LLM
Tensor Parallelism
KV Cache
Continuous Batching
Python
PyTorch
Qwen2
开源项目
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
上一页
1
...
10
11
12
13
14
...
72
下一页