程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
编程
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
2026-05-17 04:14:18 +0800 CST
view 469
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 530
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
TradingAgents 深度实战:7个LLM Agent复刻华尔街投研——从LangGraph多智能体架构到AI量化交易生产部署(2026完全指南)
编程
TradingAgents 深度实战:7个LLM Agent复刻华尔街投研——从LangGraph多智能体架构到AI量化交易生产部署(2026完全指南)
2026-06-02 22:15:17 +0800 CST
view 645
TradingAgents 用7个专业LLM Agent完整复刻华尔街投研流程,GitHub 71.4K Star,本文从架构设计、Agent协作机制、LLM调度策略到生产级部署全面深度拆解。
AI交易
多智能体
量化交易
LLM
LangGraph
最全面的 `history` 命令指南
代码
最全面的 `history` 命令指南
2024-11-18 21:32:45 +0800 CST
view 1855
本文全面介绍了Linux和Unix系统中的`history`命令,包括其基本用法和高级选项。用户可以通过该命令查看、清空和管理命令历史记录,使用不同选项如`-c`、`-d`、`-w`等来操作历史记录。此外,文中还讨论了如何通过环境变量设置来优化历史记录的管理和使用。
Linux
Unix
命令行
Shell
技术
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
编程
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
2026-05-17 04:14:33 +0800 CST
view 438
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
Unsloth 深度实战:从 Triton 内核优化到 70% 显存压缩——2026 年 LLM 本地微调的工业级完全指南
编程
Unsloth 深度实战:从 Triton 内核优化到 70% 显存压缩——2026 年 LLM 本地微调的工业级完全指南
2026-05-23 20:00:37 +0800 CST
view 428
深度剖析 Unsloth 如何通过手写 Triton 内核、智能显存管理和 LoRA/QLoRA 优化,实现训练速度 2-5 倍提升、显存占用降低 70% 的技术奇迹。
LLM
微调
Unsloth
LoRA
深度学习
Microsoft MarkItDown 深度实战:把整个世界搬进 Markdown——从多格式解析引擎到 LLM 知识管道完全指南(2026)
编程
Microsoft MarkItDown 深度实战:把整个世界搬进 Markdown——从多格式解析引擎到 LLM 知识管道完全指南(2026)
2026-06-02 23:44:03 +0800 CST
view 570
Microsoft 开源的 MarkItDown 在 2026 年引爆 AI 工程圈。本文从源码级架构解析、多格式解析引擎、与 LLM 工具链的集成实战、性能优化到生产级 RAG 管道,全面拆解这款改变 AI 工程范式的工具。
Microsoft
MarkItDown
Markdown
LLM
RAG
Python
文档解析
AI工程
Headroom 深度实战:当 Netflix 工程师用「上下文压缩」掀翻 AI 成本底牌——从 CCR 可逆机制到跨 Agent 记忆的生产级完全指南(2026)
编程
Headroom 深度实战:当 Netflix 工程师用「上下文压缩」掀翻 AI 成本底牌——从 CCR 可逆机制到跨 Agent 记忆的生产级完全指南(2026)
2026-06-11 15:20:19 +0800 CST
view 547
Netflix工程师开源的AI上下文压缩工具Headroom,能在保持答案质量的前提下将Token消耗压缩60-95%,累计节省70万美元成本。本文深度剖析其架构设计、CCR可逆机制、跨Agent记忆共享与生产级集成实践。
AI编程
Token压缩
上下文管理
LLM优化
OpenSource
OctaFuse Gateway:统一管理Coding Plan/Token Plan的开源AI网关,个人SaaS都能用
编程
OctaFuse Gateway:统一管理Coding Plan/Token Plan的开源AI网关,个人SaaS都能用
2026-06-22 21:00:01 +0800 CST
view 250
OctaFuse Gateway开源AI网关,把Provider、模型路由、API Key、用户、预算、用量审计、财务记账和管理后台放在一起。个人用可统一Coding Plan/Token Plan入口;做SaaS可变成LLM服务底座。支持OpenAI/Anthropic/Gemini多协议,Provider Key池统一调度多套额度,三层成本口径(metered/standard/charged),自带Admin后台+Playground+Simulator。
OctaFuse
AI网关
开源
LLM管理
多模型路由
SaaS
计费审计
Provider Key池
Python 工具链的 Rust 化革命:从 uv、Ruff 到 LiteLLM——当 Rust 吃掉 Python 的工具生态
编程
Python 工具链的 Rust 化革命:从 uv、Ruff 到 LiteLLM——当 Rust 吃掉 Python 的工具生态
2026-06-30 14:43:40 +0800 CST
view 165
深度解析Python工具链的Rust化革命:从uv的包管理、Ruff的静态分析到LiteLLM的AI网关迁移,万字长文剖析Rust如何以10-100倍的性能优势重塑Python开发生态
Rust
Python
uv
Ruff
LiteLLM
Polars
性能优化
包管理
Pydantic
Python 工具链 Rust 化深度解析:从 uv、Ruff 到 LiteLLM——当系统级语言重塑 Python 开发体验
编程
Python 工具链 Rust 化深度解析:从 uv、Ruff 到 LiteLLM——当系统级语言重塑 Python 开发体验
2026-06-30 14:44:22 +0800 CST
view 160
深度解析Python工具链的Rust化革命:从uv的包管理、Ruff的静态分析到LiteLLM的AI网关迁移,万字长文剖析Rust如何以10-100倍的性能优势重塑Python开发生态
Rust
Python
uv
Ruff
LiteLLM
Polars
性能优化
包管理
Pydantic
Headroom 深度拆解:当 AI Agent 学会「断舍离」——从上下文压缩层、CCR 可逆检索到 6 大压缩算法的工程全貌(2026)
编程
Headroom 深度拆解:当 AI Agent 学会「断舍离」——从上下文压缩层、CCR 可逆检索到 6 大压缩算法的工程全貌(2026)
2026-07-18 15:45:16 +0800 CST
view 65
Headroom 是 AI Agent 的上下文压缩层,在 Agent 与 LLM 之间插入本地优先、完全可逆的压缩中间件,实测节省 60-95% Token。本文从架构、4种集成模式、CCR 可逆检索到 6 大压缩算法与可运行代码实战全面拆解。
Headroom
AI Agent
上下文压缩
Token优化
LLM工程
Rust 正在吃掉前端:Rolldown、Oxc 与 Vite 8 统一工具链的技术真相与行业启示
编程
Rust 正在吃掉前端:Rolldown、Oxc 与 Vite 8 统一工具链的技术真相与行业启示
2026-04-20 18:19:12 +0800 CST
view 678
深度解析 Rust 如何通过 Rolldown、Oxc 与 Vite 8 重塑 JavaScript 工具链格局,探讨 Rust 在前端领域渗透的深层逻辑与开发者行动建议。
Rust
Vite
Rolldown
Oxc
前端工具链
Rust 正在重塑 Python 的工具链:深入解析 uv、Ruff 与 LiteLLM 的架构革命与 100 倍性能提升
编程
Rust 正在重塑 Python 的工具链:深入解析 uv、Ruff 与 LiteLLM 的架构革命与 100 倍性能提升
2026-06-30 14:45:17 +0800 CST
view 206
深度解析Python工具链的Rust化革命:从uv的包管理、Ruff的静态分析到LiteLLM的AI网关迁移,万字长文剖析Rust如何以10-100倍的性能优势重塑Python开发生态
Rust
Python
uv
Ruff
LiteLLM
Polars
性能优化
包管理
Pydantic
OpenTelemetry 深度实战:当可观测性终于有了「通用语」——从三大支柱、OTLP 协议、Collector 管线到零侵入自动插桩与生产级排障的完全指南(2026)
编程
OpenTelemetry 深度实战:当可观测性终于有了「通用语」——从三大支柱、OTLP 协议、Collector 管线到零侵入自动插桩与生产级排障的完全指南(2026)
2026-07-12 09:17:23 +0800 CST
view 158
深度解析 OpenTelemetry:从可观测性三支柱与 Profiles、OTLP 协议、Collector 管线、零侵入自动插桩,到采样、批处理、基数与背压的生产级调优,以及从厂商私有 SDK 平滑迁移到 OTel 的双写策略完全指南(2026)。
OpenTelemetry
可观测性
分布式追踪
Tracing
OTLP
Collector
云原生
Prometheus
Jaeger
Rolldown 1.0 深度实战:当 Vite 8 用 Rust 重写了自己——从 VoidZero 全工具链全景到 Rollup 兼容插件的完整指南(2026)
编程
Rolldown 1.0 深度实战:当 Vite 8 用 Rust 重写了自己——从 VoidZero 全工具链全景到 Rollup 兼容插件的完整指南(2026)
2026-07-12 09:46:29 +0800 CST
view 142
深度拆解 Rolldown 1.0 技术架构:从 Rust 技术选型、Oxc 解析引擎、Work-Stealing 并行构建,到 Vite 8 统一引擎迁移、Rollup 插件兼容实战与性能基准测试
Rolldown
Vite
Vite8
Rust
前端构建
VoidZero
esbuild
bundler
BitNet 深度拆解:当大模型被压到 1.58 bit——三值量化、BitLinear 与在 CPU 上跑 100B 的工程全貌(2026)
编程
BitNet 深度拆解:当大模型被压到 1.58 bit——三值量化、BitLinear 与在 CPU 上跑 100B 的工程全貌(2026)
2026-07-19 01:12:51 +0800 CST
view 65
深度拆解微软 BitNet 1-bit/1.58-bit 大模型:从三值量化数学、BitLinear 架构、BitNet.cpp 推理内核,到在 CPU 上运行 100B 模型的完整工程实战。
BitNet
1-bit LLM
三值量化
BitLinear
边缘AI
大模型推理
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 548
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
编程
MarkItDown 深度实战:当微软用Python重写文档预处理——从转换器链到LLM集成的生产级完全指南(2026)
2026-06-12 13:48:19 +0800 CST
view 417
深度剖析微软开源的MarkItDown工具,详解其转换器链架构、插件系统、LLM集成和大规模文档处理性能优化,提供15个完整代码示例和生产级部署方案。
MarkItDown
文档预处理
LLM
RAG
Python
微软
CLEAR 深度实战:当浙大+腾讯+北大联手破解AI推理「算力浪费」难题——从理性放弃机制到生产级LLM推理优化完全指南(2026)
编程
CLEAR 深度实战:当浙大+腾讯+北大联手破解AI推理「算力浪费」难题——从理性放弃机制到生产级LLM推理优化完全指南(2026)
2026-06-12 14:20:52 +0800 CST
view 417
深度解析 ICML 2026 接收的 CLEAR 推理优化方法。浙江大学、腾讯、北京大学联合提出:对没有希望的问题理性放弃,把算力集中到能解决的问题上。包含完整 Python 实现、vLLM/SGLang 集成、生产级部署指南。
LLM
推理优化
ICML 2026
CLEAR
算力分配
百度Unlimited-OCR深度解析:R-SWA常量KV缓存如何让OCR一口气吃下几十页文档——从单图解析到多页PDF的完整实战指南
编程
百度Unlimited-OCR深度解析:R-SWA常量KV缓存如何让OCR一口气吃下几十页文档——从单图解析到多页PDF的完整实战指南
2026-07-06 11:16:05 +0800 CST
view 206
深度解析百度开源Unlimited-OCR:13K+ Stars,R-SWA常量KV缓存让端到端OCR模型在32K上下文下一次性转录几十页文档。从架构设计到vLLM/SGLang生产部署完整实战指南。
Unlimited-OCR
百度
R-SWA
OCR
KV缓存
文档解析
长文档
vLLM
WebAssembly 从浏览器走向服务器:WASI + Component Model 如何重塑边缘计算
编程
WebAssembly 从浏览器走向服务器:WASI + Component Model 如何重塑边缘计算
2026-07-12 12:45:20 +0800 CST
view 174
深度解析 WebAssembly 从浏览器到服务器的演进路径,剖析 WASI 系统接口规范、Component Model 组件化架构、WIT 接口语言,以及 Wasmtime / WAMR / WasmEdge 等主流运行时对比,附 Rust 实战代码与边缘计算性能基准测试。
WebAssembly
WASI
Component Model
WASM Runtime
边缘计算
Cloudflare Workers
Wasmtime
WasmEdge
Bytecode Alliance
性能优化
跨平台
Serverless
MarkItDown 深度解析:微软10万星开源工具如何重塑 LLM 时代的文档处理范式
编程
MarkItDown 深度解析:微软10万星开源工具如何重塑 LLM 时代的文档处理范式
2026-04-21 05:47:35 +0800 CST
view 656
深度解析微软开源工具MarkItDown:如何将PDF、Word、Excel等20+格式转换为结构化Markdown,为LLM和RAG场景提供高质量的文档预处理方案。涵盖架构设计、实战代码、性能优化与生产部署最佳实践。
MarkItDown
文档转换
LLM
RAG
Python
开源工具
微软
Headroom 深度实战:当 AI Agent 的 Token 账单被压缩 90%——从六大压缩算法到 CCR 可逆存储、跨 Agent 记忆与 KV Cache 命中率优化的生产级完全指南(2026)
编程
Headroom 深度实战:当 AI Agent 的 Token 账单被压缩 90%——从六大压缩算法到 CCR 可逆存储、跨 Agent 记忆与 KV Cache 命中率优化的生产级完全指南(2026)
2026-06-17 15:22:23 +0800 CST
view 595
Headroom 是开源上下文压缩中间层,六大算法覆盖 JSON/代码/文本/图片,CCR 可逆存储,跨 Agent 记忆,实测节省 60-95% Token,精度保留 97%。
Headroom
AI Agent
Token优化
LLM
上下文压缩
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
13
14
15
16
17
...
26
下一页