程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
oMLX 深度实战:当 Apple Silicon 遇见本地大模型推理——从 MTP 加速到分层 KV 缓存的生产级完全指南(2026)
编程
oMLX 深度实战:当 Apple Silicon 遇见本地大模型推理——从 MTP 加速到分层 KV 缓存的生产级完全指南(2026)
2026-06-16 16:46:05 +0800 CST
view 751
深度解析 2026 年 Apple Silicon 本地大模型推理技术栈:从 llama.cpp 量化体系到 oMLX 分层 KV 缓存架构,从 MTP 加速到 CoreAI 全栈指南,包含实测 Benchmark 与生产级部署方案。
Apple Silicon
MLX
llama.cpp
oMLX
MTP
本地大模型
量化
本地推理
llmfit 深度拆解:一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖
编程
llmfit 深度拆解:一条命令算出你的电脑能跑哪些大模型——硬件感知适配引擎的工程解剖
2026-07-24 18:44:04 +0800 CST
view 114
深度拆解 GitHub Trending 开源工具 llmfit:四维评分系统、量化自动试探、MoE 精算、带宽速度模型、Plan 模式与 bench 众包校准,从第一性原理讲透本地大模型的硬件适配方法论。
llmfit
本地大模型
LLM
Rust
量化
Ollama
llama.cpp
Apple Silicon
硬件适配
开源
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
编程
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
2026-07-20 18:18:40 +0800 CST
view 236
深度拆解 Ollama 工程架构:Go 服务层封装 llama.cpp、CGO 内存边界、GGUF 量化格式、Modelfile DSL、OpenAI 兼容层、Metal GPU 加速与生产部署实战,配完整 Go/Python/Shell 代码示例。
Ollama
本地大模型
llama.cpp
GGUF
Go
CGO
量化
Apple Silicon
Apple container 深度实战:当 Swift 遇见 Linux 容器——Apple 官方开源的 macOS 容器化完全指南
编程
Apple container 深度实战:当 Swift 遇见 Linux 容器——Apple 官方开源的 macOS 容器化完全指南
2026-06-19 00:27:12 +0800 CST
view 664
Apple 官方开源的 Swift 容器化工具 apple/container 深度解析:通过 Virtualization.framework 在 Apple Silicon 上实现轻量级 Linux 容器运行,覆盖架构剖析、实战代码、性能对比与未来展望。
Swift
macOS
Apple Silicon
容器化
Linux
Virtualization
DevOps
Apple
开源
Goroutine 泄漏无处遁形:Go 1.27 将 GC 变成并发调试利器
编程
Goroutine 泄漏无处遁形:Go 1.27 将 GC 变成并发调试利器
2026-06-09 20:45:09 +0800 CST
view 347
Go 1.27正式将goroutine泄漏检测功能从实验特性毕业为标配能力,利用垃圾收集器(GC)的标记阶段来检测goroutine泄漏,让生产环境中的幽灵无处遁形。本文详解其算法原理、实战用法及工程启示。
Go 1.27
Goroutine泄漏
GC
runtime/pprof
并发调试
性能优化
Go语言
pprof
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
编程
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
2026-06-16 01:17:28 +0800 CST
view 672
llama.cpp 是端侧 LLM 推理的事实标准(180K+ Stars)。本文从源码架构、GGUF 格式、量化方法、跨平台后端、生产部署、性能优化到 DeepSeek V4 Flash 实战,全方位讲解本地 AI 推理。
llama.cpp
GGUF
量化
端侧推理
本地AI
C/C++
Apple Silicon
µP 深度拆解:当调参侠终于破解 scaling 诅咒——从最大更新参数化到万亿参数大模型超参迁移的工程全貌(2026)
编程
µP 深度拆解:当调参侠终于破解 scaling 诅咒——从最大更新参数化到万亿参数大模型超参迁移的工程全貌(2026)
2026-07-19 08:43:41 +0800 CST
view 158
深度拆解微软/ OpenAI 的 µP(最大更新参数化)理论:从 Tensor Programs 数学框架、为什么标准参数化失效、到 PyTorch mup 库完整实战代码,含 Transformer 层、AdamW 配置、跨尺度超参数迁移验证与生产级 Pipeline。
µP
Max Update Parametrization
超参数迁移
Tensor Programs
深度学习
Transformer
LLM训练
AdamW
mup
微软
Rust 1.95.0 深度解析:cfg_select!、闭包捕获优化、Trait 向上转型——2026 年最重要的 Rust 版本
编程
Rust 1.95.0 深度解析:cfg_select!、闭包捕获优化、Trait 向上转型——2026 年最重要的 Rust 版本
2026-05-14 03:43:00 +0800 CST
view 468
Rust 1.95.0深度解析:cfg_select!宏条件编译新语法、闭包捕获优化更精确的捕获模式减少Clone开销、Trait向上转型Supertrait Upcasting面向对象编程最后一公里、编译器增量编译速度提升20%。
Rust1.95,cfg_select,闭包捕获优化,Trait向上转型,SupertraitUpcasting,编译器优化
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
编程
BitNet 1.58-bit:微软如何用三个值就让大模型在 CPU 上飞奔
2026-05-11 13:55:11 +0800 CST
view 616
微软开源BitNet 1.58-bit大模型推理框架,2B参数模型仅需0.4GB内存、29ms/token推理速度。核心创新:训练时量化、-1/0/+1三值权重、位运算加速,精度损失<5%却比INT4表现更好。纯CPU运行,71%能耗降低。
BitNet,1.58bit,微软,大模型量化,1bit LLM,CPU推理,bitnet.cpp,训练时量化,位运算加速,模型压缩
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
编程
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
2026-06-20 01:25:22 +0800 CST
view 606
Ollama本地大模型生产级部署完全指南:从GGUF格式原理、INT4/INT8量化实战、REST API集成、多语言SDK(Python/Go/TypeScript)、GPU显存管理、Kubernetes+Helm生产部署、性能调优到RAG知识库构建,全流程深度实战。
Ollama
本地大模型
LLM部署
模型量化
GGUF
llama.cpp
REST API
Kubernetes
GPU
RAG
WebGPU 计算着色器深度解析:WGSL 编程范式与 GPU 并行计算实战
编程
WebGPU 计算着色器深度解析:WGSL 编程范式与 GPU 并行计算实战
2026-05-17 11:46:05 +0800 CST
view 696
深入解析 WebGPU 计算着色器与 WGSL 着色语言,从架构原理到代码实战,涵盖图像处理、粒子模拟、神经网络推理三大场景,探讨 GPU 并行计算的优化策略与生态趋势。
WebGPU
WGSL
Compute Shader
GPU编程
并行计算
JavaScript
前端性能
GPGPU
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22 +0800 CST
view 765
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
GoGPU 深度实战:纯 Go、零 CGO 的 GPU 计算生态——从 2D 图形到 GUI 工具包的完整指南(2026)
编程
GoGPU 深度实战:纯 Go、零 CGO 的 GPU 计算生态——从 2D 图形到 GUI 工具包的完整指南(2026)
2026-06-28 15:44:07 +0800 CST
view 288
深度解析 GoGPU 纯 Go GPU 计算生态的完整架构:wgpu GPU 抽象层、gg 5 引擎智能光栅化、ui GUI 工具包、naga Shader 编译器、g3d 3D 渲染引擎,含完整代码实战、性能基准与生产部署指南(2026)
Go
GoGPU
WebGPU
GPU计算
图形编程
wgpu
GUI
2D渲染
开源
性能优化
Redis之父的「孤注一掷」:ds4.c如何让284B参数模型在128GB MacBook上跑起来
编程
Redis之父的「孤注一掷」:ds4.c如何让284B参数模型在128GB MacBook上跑起来
2026-07-11 16:17:33 +0800 CST
view 196
Redis之父 Salvatore Sanfilippo 2026年5月发布的新项目 ds4.c,专为 DeepSeek V4 Flash + Apple Silicon Metal 打造本地推理引擎,8000行代码实现2.5倍性能提升。本文深度解析其架构设计、Graph Executor、KV Cache页式管理与Metal Shader实现。
推理引擎
Apple Silicon
DeepSeek
Metal
Redis
ds4.c
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
编程
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
2026-05-15 17:47:40 +0800 CST
view 816
深入解析 antirez(Redis 作者)新开源项目 ds4:DwarfStar 4 本地推理引擎,专门为 DeepSeek V4 Flash 打造,支持 Metal/CUDA 后端,2-bit 量化可在 96GB 内存 MacBook 上运行 284B 参数模型。
AI推理
本地部署
DeepSeek
Redis
Apple Silicon
CUDA
Metal
MoE
量化
NATS 深度实战:当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南(2026)
编程
NATS 深度实战:当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南(2026)
2026-06-21 10:55:40 +0800 CST
view 382
NATS深度实战:从Pub/Sub到JetStream持久化,从边缘计算到AI推理总线,生产级完全指南(2026)
NATS
消息队列
云原生
微服务
AI推理
边缘计算
JetStream
Pub/Sub
Request/Reply
Queue Groups
NATS 消息系统深度实战:云原生通信基础设施的架构设计与生产级最佳实践(2026)
编程
NATS 消息系统深度实战:云原生通信基础设施的架构设计与生产级最佳实践(2026)
2026-06-21 10:56:10 +0800 CST
view 348
NATS深度实战:云原生通信基础设施的架构设计与生产级最佳实践(2026)
NATS
消息队列
云原生
微服务
AI推理
边缘计算
JetStream
Pub/Sub
Request/Reply
Queue Groups
Shimmy 深度解析:纯 Rust WebGPU 推理引擎如何用一行命令颠覆浏览器端 AI 推理
编程
Shimmy 深度解析:纯 Rust WebGPU 推理引擎如何用一行命令颠覆浏览器端 AI 推理
2026-07-25 15:14:38 +0800 CST
view 82
深度解析 Shimmy v2.3.0:纯 Rust WebGPU 推理引擎如何实现浏览器端原生运行 GGUF 量化模型,OpenAI API 兼容,零依赖部署。
WebGPU
Rust
GGUF
AI推理
浏览器
llama.cpp
OpenAI API
前端工程
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
编程
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
2026-07-14 01:14:51 +0800 CST
view 352
2026年7月PyTorch 2.13重磅发布:FlexAttention在Apple Silicon实现12倍加速、CuTeDSL提供CUTLASS级GEMM代码生成、融合损失函数将大词汇量训练峰值显存削减4倍、torchcomms革新分布式通信后端、ExecuTorch正式并入核心,深度拆解六大核心更新与实战代码。
PyTorch
深度学习
机器学习框架
GPU
Distributed Training
FlexAttention
CUDA
GEMM
ROCm
Apple Silicon
MPS
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
编程
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
2026-06-02 09:36:52 +0800 CST
view 655
从vLLM到TensorRT-LLM,一次讲透vLLM、SGLang、TensorRT-LLM、llama.cpp四大LLM推理框架的架构哲学、核心原理、生产级部署实战与选型决策树。
LLM
vLLM
TensorRT-LLM
llama.cpp
SGLang
推理优化
GPU
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
编程
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
2026-07-23 11:45:35 +0800 CST
view 121
深度解析纯 Rust WebGPU 推理引擎 shimmy v2.3.0:GGUF 原生加载、OpenAI API 兼容、KV Cache 量化、Flash Attention 等效实现,配 Tauri 桌面应用集成实战与性能基准测试。
shimmy
WebGPU
Rust
GGUF
LLM
llama.cpp
推理引擎
WebAssembly
Tabby 深度实战:用一台消费级 GPU 搭好团队私有的"Copilot"
编程
Tabby 深度实战:用一台消费级 GPU 搭好团队私有的"Copilot"
2026-07-24 01:46:45 +0800 CST
view 115
深度实战 TabbyML/tabby 自托管 AI 编程助手:三层架构与 llama-server 独立化重构、消费级 GPU 模型选型、Repository Context 语法感知 RAG 索引、FIM Prompt 拼装原理、systemd/nginx 生产部署、压测与 Prometheus 监控全套方案。
Tabby
AI编程
代码补全
自托管
llama.cpp
RAG
Rust
GPU
开源
Copilot
Ollama深度解析:Go语言打造的本地LLM推理引擎——从Modelfile容器化到GPU调度的完整实战指南
编程
Ollama深度解析:Go语言打造的本地LLM推理引擎——从Modelfile容器化到GPU调度的完整实战指南
2026-07-06 05:48:17 +0800 CST
view 176
深度解析Ollama本地LLM推理引擎架构与实战
Ollama
本地推理
LLM
Go
llama.cpp
GGUF
GPU
Modelfile
ds4.c 深度解析:Redis之父如何用纯C代码在MacBook上跑通284B大模型——从不对称量化到KV缓存磁盘化的完整技术内幕
编程
ds4.c 深度解析:Redis之父如何用纯C代码在MacBook上跑通284B大模型——从不对称量化到KV缓存磁盘化的完整技术内幕
2026-05-18 06:15:03 +0800 CST
view 654
Redis之父antirez开源ds4.c项目深度解析:用纯C语言在MacBook上运行284B参数大模型,不对称2-bit量化、KV缓存磁盘化、OpenAI/Anthropic API兼容,打造首个真正的本地Agent推理后端
AI推理
本地大模型
Redis
Apple Silicon
DeepSeek
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
89
下一页