程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:50:04 +0800 CST
view 145
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
编程
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
2026-07-28 11:52:16 +0800 CST
view 195
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
IntelliJ IDEA 2026.1 深度解析:IDE 的战略升维——从代码编辑器到 AI Agent 开放平台
编程
IntelliJ IDEA 2026.1 深度解析:IDE 的战略升维——从代码编辑器到 AI Agent 开放平台
2026-05-09 23:43:15 +0800 CST
view 801
IntelliJ IDEA 2026.1深度解析:ACP协议开放AI Agent平台、Codex/Cursor/Claude多Agent协作、Spring运行时洞察、Java 26首日支持、虚拟线程调试工具链等核心新特性全剖析
IntelliJ IDEA
JetBrains
Java
Kotlin
AI Agent
ACP协议
IDE
编程工具
Spring
虚拟线程
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
编程
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
2026-06-02 09:36:52 +0800 CST
view 764
从vLLM到TensorRT-LLM,一次讲透vLLM、SGLang、TensorRT-LLM、llama.cpp四大LLM推理框架的架构哲学、核心原理、生产级部署实战与选型决策树。
LLM
vLLM
TensorRT-LLM
llama.cpp
SGLang
推理优化
GPU
BitNet 深度拆解:当大模型被压到 1.58 bit——从三元权重、BitLinear 到 bitnet.cpp 的端侧推理革命(2026)
编程
BitNet 深度拆解:当大模型被压到 1.58 bit——从三元权重、BitLinear 到 bitnet.cpp 的端侧推理革命(2026)
2026-07-17 14:24:55 +0800 CST
view 310
深度拆解微软 BitNet:1.58-bit 三值量化、Absmean/Absmax、BitLinear、bitnet.cpp 子矩阵内核,附 PyTorch 手写实现与 CPU 端侧推理性能实测。
BitNet
1-bit LLM
大模型推理
模型量化
端侧AI
bitnet.cpp
oMLX 深度实战:当 Apple Silicon 遇见本地大模型推理——从 MTP 加速到分层 KV 缓存的生产级完全指南(2026)
编程
oMLX 深度实战:当 Apple Silicon 遇见本地大模型推理——从 MTP 加速到分层 KV 缓存的生产级完全指南(2026)
2026-06-16 16:46:05 +0800 CST
view 875
深度解析 2026 年 Apple Silicon 本地大模型推理技术栈:从 llama.cpp 量化体系到 oMLX 分层 KV 缓存架构,从 MTP 加速到 CoreAI 全栈指南,包含实测 Benchmark 与生产级部署方案。
Apple Silicon
MLX
llama.cpp
oMLX
MTP
本地大模型
量化
本地推理
Hermes Agent 深度实战:当 AI 学会自我进化——从 GEPA 遗传算法到三层记忆架构、从 ACP 协议到生产级部署的完全指南(2026)
编程
Hermes Agent 深度实战:当 AI 学会自我进化——从 GEPA 遗传算法到三层记忆架构、从 ACP 协议到生产级部署的完全指南(2026)
2026-06-22 05:53:50 +0800 CST
view 313
深度解析 Hermes Agent 自进化 AI 框架:GEPA 遗传算法、三层记忆架构、ACP 协议、生产级部署实战,附完整代码示例。
Hermes Agent
AI Agent
自进化
GEPA
Nous Research
ACP协议
llama.cpp 深度实战:当端侧 LLM 成为生产级事实标准——从 GGUF 量化到跨平台部署的完全指南(2026)
编程
llama.cpp 深度实战:当端侧 LLM 成为生产级事实标准——从 GGUF 量化到跨平台部署的完全指南(2026)
2026-06-11 00:19:05 +0800 CST
view 539
全面解析 llama.cpp 推理引擎,从 GGUF 格式、量化原理、架构设计到跨平台部署,提供生产级代码实战和性能优化指南。
llama.cpp
GGUF
量化
端侧推理
大语言模型
VoxCPM2:无分词 Tokenizer-Free 语音合成——从架构革命到工程落地的完整指南
编程
VoxCPM2:无分词 Tokenizer-Free 语音合成——从架构革命到工程落地的完整指南
2026-04-19 14:46:06 +0800 CST
view 1008
深度解析面壁智能开源的VoxCPM2:2B参数、Tokenizer-Free连续空间生成、236万小时训练数据、RTF 0.13、8GB显存可跑,30语言支持。包含架构分析、代码实战、性能优化指南。
语音合成
TTS
VoxCPM2
面壁智能
AI音频
Hermes Agent 深度拆解:当 AI 学会「自我进化」——从动态技能生成、三层记忆架构到强化学习闭环的工程全貌(2026)
编程
Hermes Agent 深度拆解:当 AI 学会「自我进化」——从动态技能生成、三层记忆架构到强化学习闭环的工程全貌(2026)
2026-07-18 07:15:45 +0800 CST
view 194
深度拆解 Hermes Agent:21.6万 Stars 的自进化 AI Agent 框架。从动态技能生成、三层记忆架构(Built-in/External/Session)、ACP 跨 Agent 通信协议到 GRPO 强化学习闭环的完整工程全貌,配代码实战与部署指南。
Hermes Agent
AI Agent
自进化
记忆系统
强化学习
GRPO
ACP协议
Nous Research
MiniCPM-o 2.6 深度解析:8B参数如何在iPad上跑出GPT-4o级全模态性能——端侧多模态大模型的工程化突破
编程
MiniCPM-o 2.6 深度解析:8B参数如何在iPad上跑出GPT-4o级全模态性能——端侧多模态大模型的工程化突破
2026-05-11 01:50:57 +0800 CST
view 750
深入解析MiniCPM-o 2.6:8B参数如何在iPad上实现GPT-4o级全模态性能,时分复用TDM机制、端到端架构、低延迟并发处理的技术内幕,附完整部署代码和性能优化实战
AI,MiniCPM,多模态,端侧模型,面壁智能
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
编程
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
2026-07-24 07:44:31 +0800 CST
view 215
KTransformers 通过 CPU/GPU 异构计算,让一块 RTX 5090(32GB 显存)能跑起 100B+ MoE 大模型,且无需量化压缩,保持原精度 FP16。实测比 llama.cpp Q8_0 快 4.5 倍。本文深度拆解其专家细粒度卸载、异步预取、DMA 优化等核心技术,以及实战部署指南。
KTransformers
LLM推理
MoE
异构计算
DeepSeek
SGLang
CPU Offload
本地部署
GPU优化
Spring Boot 4.1.0 深度实战:虚拟线程默认开启、原生 gRPC 加持、连接池反直觉陷阱——从架构升级到生产调优的完全指南(2026)
编程
Spring Boot 4.1.0 深度实战:虚拟线程默认开启、原生 gRPC 加持、连接池反直觉陷阱——从架构升级到生产调优的完全指南(2026)
2026-06-22 17:54:04 +0800 CST
view 758
Spring Boot 4.1.0 深度实战指南:虚拟线程默认开启、原生 gRPC 自动配置、LazyConnection 连接池惰性获取等新特性详解,附 3.x 到 4.1 完整迁移路径和真实压测数据。
Spring Boot 4.1
Spring Framework 7
Virtual Threads
gRPC
HikariCP
Java 21
性能优化
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 2134
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
从140GB到4GB:AirLLM无量化层间推理原理深度剖析与生产级部署实战(2026)
编程
从140GB到4GB:AirLLM无量化层间推理原理深度剖析与生产级部署实战(2026)
2026-06-22 19:28:19 +0800 CST
view 441
深入解析 AirLLM 的无量化层间 Offloading 技术原理,探讨如何通过 CPU-GPU 混合推理在 4GB 显存上运行 70B 大模型,附完整代码实战与生产部署指南。
LLM推理
GPU优化
CPU Offload
层间调度
AirLLM
PyTorch
Ollama深度解析:Go语言打造的本地LLM推理引擎——从Modelfile容器化到GPU调度的完整实战指南
编程
Ollama深度解析:Go语言打造的本地LLM推理引擎——从Modelfile容器化到GPU调度的完整实战指南
2026-07-06 05:48:17 +0800 CST
view 228
深度解析Ollama本地LLM推理引擎架构与实战
Ollama
本地推理
LLM
Go
llama.cpp
GGUF
GPU
Modelfile
编程
TIME_WAIT状态的连接过多导致系统端口资源耗尽问题
2024-11-17 21:27:27 +0800 CST
view 3466
本文讨论了如何优化Linux系统中的TIME_WAIT状态,使用netstat命令查看TCP连接状态,并通过修改/etc/sysctl.conf文件中的相关参数来减少TIME_WAIT套接字的数量。具体参数包括开启SYNCookies、重用TIME-WAITsockets、快速回收TIME-WAITsockets等,最后通过执行/sysctl-p命令使修改生效。
Linux
网络优化
TCP配置
MOSS-TTS-Nano:0.1B参数纯CPU实时语音生成与克隆,MacBook Air单核就能跑
编程
MOSS-TTS-Nano:0.1B参数纯CPU实时语音生成与克隆,MacBook Air单核就能跑
2026-04-20 22:53:28 +0800 CST
view 1574
复旦大学OpenMOSS团队开源的0.1B参数多语言TTS模型,纯CPU运行、支持零样本语音克隆、48kHz双声道、20种语言、流式推理,MacBook Air单核即可流畅运行
TTS
语音合成
语音克隆
AI
开源
CPU推理
OpenMOSS
Meta-Harness 深度拆解:当 AI 编程进入「多 Agent 并行时代」——Databricks Omnigent、Zed ACP、Vercel HarnessAgent 三大开源方案如何用「Harness 之上的 Harness」重新定义 Agent 工程化的终极形态
编程
Meta-Harness 深度拆解:当 AI 编程进入「多 Agent 并行时代」——Databricks Omnigent、Zed ACP、Vercel HarnessAgent 三大开源方案如何用「Harness 之上的 Harness」重新定义 Agent 工程化的终极形态
2026-08-05 12:44:41 +0800 CST
view 136
深度拆解2026年最热AI工程化范式Meta-Harness:Databricks Omnigent、Zed ACP、Vercel HarnessAgent三大开源方案如何用Harness之上的Harness重新定义多Agent编排与治理
Meta-Harness
Omnigent
ACP
HarnessAgent
Agent编排
多Agent
Databricks
Vercel
Cloudflare
RUFLO
AI 算力基础设施深度解剖:从异构计算到 CPO 光互连与液冷散热的工程真相
编程
AI 算力基础设施深度解剖:从异构计算到 CPO 光互连与液冷散热的工程真相
2026-07-25 06:43:33 +0800 CST
view 158
深度拆解 2026 年 AI 算力基础设施三大核心技术突破:异构计算从 x86 到 Arm 的架构革命、CPO 共封装光学突破互连瓶颈、液冷散热解决高密度算力散热难题,附工程实战案例与性能数据。
AI基础设施
异构计算
CPO
液冷散热
数据中心
GPU集群
云原生
性能优化
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
编程
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
2026-04-12 22:56:41 +0800 CST
view 1105
2026年深度解析 llama.cpp 架构设计与 GGUF 量化格式,从底层原理到工程实战,涵盖 K-Quant/IQ 量化、Flash Attention、KV Cache 优化、Intel NPU/GPU 部署全流程。
llama.cpp
GGUF
量化
大模型
C++
本地部署
Python 3.14 自由线程(no-GIL)与实验性 JIT 深度实战:当 CPython 终于学会用满多核,一次把并发与性能讲透(2026 深度长文)
编程
Python 3.14 自由线程(no-GIL)与实验性 JIT 深度实战:当 CPython 终于学会用满多核,一次把并发与性能讲透(2026 深度长文)
2026-07-13 04:45:10 +0800 CST
view 171
深度拆解 Python 3.14 自由线程(no-GIL,PEP 779)与实验性 copy-and-patch JIT(PEP 744):从 GIL 历史、偏置引用计数、对象线程安全,到子解释器并发、t-strings 与真实多核基准,配 8 段可运行代码。
Python 3.14
Free-Threading
no-GIL
JIT
并发编程
CPython
Python 3.14 自由线程(No-GIL)深度实战:当 CPython 终于拥抱真正的多线程并行——从 PEP 703 架构到生产级迁移的 2026 完全指南
编程
Python 3.14 自由线程(No-GIL)深度实战:当 CPython 终于拥抱真正的多线程并行——从 PEP 703 架构到生产级迁移的 2026 完全指南
2026-06-25 19:43:54 +0800 CST
view 324
Python 3.14 自由线程(No-GIL)深度实战:从PEP 703架构到生产级迁移。涵盖偏置引用计数、线程安全容器、临界区机制、C扩展兼容性、性能基准测试与最佳实践,万字长文带你掌握2026年Python最大架构变革。
Python 3.14
自由线程
No-GIL
PEP 703
CPython
多线程
并发编程
性能优化
Python 3.14 深度解析:Tail-call 解释器、JIT 编译器与解释器架构的范式跃迁
编程
Python 3.14 深度解析:Tail-call 解释器、JIT 编译器与解释器架构的范式跃迁
2026-05-12 03:43:26 +0800 CST
view 664
Python 3.14 引入了 tail-call 解释器(3-5% 提速)、实验性 JIT 编译器、增量 GC、多解释器标准库支持(PEP 734)、模板字符串(PEP 750)、延迟注解评估(PEP 649/749)、Zstandard 标准库支持(PEP 784)等核心改进
Python
CPython
JIT编译器
性能优化
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
25
26
27
28
29
...
72
下一页