程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
llama.cpp 深度实战:当端侧 LLM 成为生产级事实标准——从 GGUF 量化到跨平台部署的完全指南(2026)
编程
llama.cpp 深度实战:当端侧 LLM 成为生产级事实标准——从 GGUF 量化到跨平台部署的完全指南(2026)
2026-06-11 00:19:05 +0800 CST
view 510
全面解析 llama.cpp 推理引擎,从 GGUF 格式、量化原理、架构设计到跨平台部署,提供生产级代码实战和性能优化指南。
llama.cpp
GGUF
量化
端侧推理
大语言模型
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22 +0800 CST
view 788
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 2092
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
Ollama深度解析:Go语言打造的本地LLM推理引擎——从Modelfile容器化到GPU调度的完整实战指南
编程
Ollama深度解析:Go语言打造的本地LLM推理引擎——从Modelfile容器化到GPU调度的完整实战指南
2026-07-06 05:48:17 +0800 CST
view 198
深度解析Ollama本地LLM推理引擎架构与实战
Ollama
本地推理
LLM
Go
llama.cpp
GGUF
GPU
Modelfile
CVE-2026-7482深度剖析:30万台Ollama服务器的内存裸奔危机与防御实战
编程
CVE-2026-7482深度剖析:30万台Ollama服务器的内存裸奔危机与防御实战
2026-06-03 17:44:19 +0800 CST
view 427
Ollama高危漏洞CVE-2026-7482(BLEEDING LLAMA)深度剖析,CVSS 9.1分,攻击者可远程读取30万台服务器内存数据,提供企业级修复方案
安全
Ollama
GGUF
CVE
AI
大模型
漏洞
gRPC 高并发性能优化实战:从连接池到流控的 7 个关键优化点
编程
gRPC 高并发性能优化实战:从连接池到流控的 7 个关键优化点
2026-07-30 16:18:07 +0800 CST
view 108
深度剖析 gRPC 高并发性能优化的 7 个关键点:连接池设计、线程池配置、HTTP/2 流控、序列化优化、超时重试策略、负载均衡与监控调优。包含 Go/Java 实战代码、性能对比数据与电商订单服务优化案例。
gRPC
性能优化
高并发
HTTP/2
Protocol Buffers
Go
Java
微服务
分布式系统
Linux 7.2 内核深度拆解:当内核决定「让 slab 分配器学会偷懒」——从延迟构建 freelist 到外显卡 80% 性能飞跃,一个 AI 参与贡献的史上最大 rc6 如何用「内存懒加载 + 多显卡感知」重新定义操作系统内核的终极形态
编程
Linux 7.2 内核深度拆解:当内核决定「让 slab 分配器学会偷懒」——从延迟构建 freelist 到外显卡 80% 性能飞跃,一个 AI 参与贡献的史上最大 rc6 如何用「内存懒加载 + 多显卡感知」重新定义操作系统内核的终极形态
2026-08-05 22:47:05 +0800 CST
view 6
深度拆解Linux 7.2内核:slab分配器延迟构建freelist实现70%性能提升、linux-dmabuf v6外显卡80%帧率飞跃、Intel核显12%提升、60%驱动更新、AI首次大规模参与内核开发
Linux
内核
slab
内存管理
性能优化
GPU
Wayland
Intel
AMD
驱动更新
AI开发
eGPU
linux-dmabuf
Panther Lake
操作系统
Ollama v0.14.3 深度实战:从本地部署到多模态 AI——2026 年私有化大模型工程化完全指南
编程
Ollama v0.14.3 深度实战:从本地部署到多模态 AI——2026 年私有化大模型工程化完全指南
2026-05-24 12:04:34 +0800 CST
view 389
Ollama v0.14.3 深度实战指南:从架构解析到生产部署,涵盖 GGUF 格式、API 集成、多模态模型、性能优化等核心内容,2026 年私有化大模型首选方案。
Ollama
大模型
本地部署
GGUF
多模态
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
编程
从原理到实战:llama.cpp 与 GGUF 量化格式的工程实践全解
2026-04-12 22:56:41 +0800 CST
view 1063
2026年深度解析 llama.cpp 架构设计与 GGUF 量化格式,从底层原理到工程实战,涵盖 K-Quant/IQ 量化、Flash Attention、KV Cache 优化、Intel NPU/GPU 部署全流程。
llama.cpp
GGUF
量化
大模型
C++
本地部署
WorldMonitor 深度解剖:68k Stars 的开源全球情报仪表板——无框架 TypeScript、三级缓存、CII 评分模型与 281 个 Proto 的契约工程
编程
WorldMonitor 深度解剖:68k Stars 的开源全球情报仪表板——无框架 TypeScript、三级缓存、CII 评分模型与 281 个 Proto 的契约工程
2026-07-25 12:46:01 +0800 CST
view 189
深度拆解 GitHub 68k Stars 开源项目 WorldMonitor:无框架 TypeScript 与双地图引擎、500+ 信源三级缓存管道、CII 国家不稳定指数评分模型、281 个 Proto 契约工程、Tauri sidecar 安全边界与 MCP Agent 集成。
WorldMonitor
开源
TypeScript
deck.gl
Protobuf
MCP
Tauri
数据聚合
态势感知
AI Agent
gRPC 深度实战:当 HTTP/2 + Protocol Buffers 重塑微服务通信——从流式 RPC、双向流到生产级性能优化的完整工程指南(2026)
编程
gRPC 深度实战:当 HTTP/2 + Protocol Buffers 重塑微服务通信——从流式 RPC、双向流到生产级性能优化的完整工程指南(2026)
2026-07-20 11:17:47 +0800 CST
view 167
2026年gRPC深度实战:从HTTP/2多路复用、Protocol Buffers序列化到四种RPC模式、生产级性能优化的完整工程指南,配Go代码示例。
gRPC
微服务
Protocol Buffers
HTTP/2
云原生
RPC
Go
服务通信
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 228
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
编程
Ollama 深度拆解:从傻瓜式本地大模型部署到底层 llama.cpp 调度器的工程全貌(2026·完整版)
2026-07-20 18:18:40 +0800 CST
view 305
深度拆解 Ollama 工程架构:Go 服务层封装 llama.cpp、CGO 内存边界、GGUF 量化格式、Modelfile DSL、OpenAI 兼容层、Metal GPU 加速与生产部署实战,配完整 Go/Python/Shell 代码示例。
Ollama
本地大模型
llama.cpp
GGUF
Go
CGO
量化
Apple Silicon
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
编程
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
2026-08-01 08:18:35 +0800 CST
view 131
深度拆解 llama.cpp 全栈架构:从 GGML 到 GGUF 格式演进、K-Quant 量化内核原理、ggml 张量计算图层、libllama 推理逻辑层、10+ 硬件后端调度,以及生产调优实战与踩坑清单。
llama.cpp
GGUF
GGML
量化
本地LLM
CPU推理
GPU加速
跨平台
K-Quant
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
编程
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
2026-05-28 19:13:18 +0800 CST
view 580
DwarfStar(ds4)是Redis创始人antirez开发的DeepSeek V4 Flash专用推理引擎,支持Metal与CUDA双轨优化、磁盘KV Cache、imatrix量化和原生Agent集成。本文深入解析其架构设计与性能表现。
DeepSeek
ds4
Metal
CUDA
本地推理
MoE
量化
GGUF
Agent
Python
C
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
编程
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
2026-06-20 01:25:22 +0800 CST
view 655
Ollama本地大模型生产级部署完全指南:从GGUF格式原理、INT4/INT8量化实战、REST API集成、多语言SDK(Python/Go/TypeScript)、GPU显存管理、Kubernetes+Helm生产部署、性能调优到RAG知识库构建,全流程深度实战。
Ollama
本地大模型
LLM部署
模型量化
GGUF
llama.cpp
REST API
Kubernetes
GPU
RAG
Gin v1.12.0 深度解析:Protobuf 内容协商 × 性能跃升 × 生产级实战指南
编程
Gin v1.12.0 深度解析:Protobuf 内容协商 × 性能跃升 × 生产级实战指南
2026-08-02 00:16:45 +0800 CST
view 85
2026年2月Gin v1.12.0重大更新深度解析:Protobuf原生内容协商支持、encoding.UnmarshalText参数绑定、GetError错误溯源、DELETE路由独立实现、Recover栈读取优化、BSON渲染等新特性,从第一性原理剖析原理并附生产级代码示例。
Go语言
Gin框架
Web开发
Protobuf
性能优化
中间件
路由
内容协商
API设计
生产实践
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 262
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
DataBuff 深度拆解:当 APM 学会「多智能体协作」——用 OpenTelemetry + AI 原生架构重写可观测性的心智模型
编程
DataBuff 深度拆解:当 APM 学会「多智能体协作」——用 OpenTelemetry + AI 原生架构重写可观测性的心智模型
2026-07-15 15:15:44 +0800 CST
view 249
深度拆解 DataBuff:AI 原生 OpenTelemetry APM 的多智能体根因分析架构、极简三组件设计、MCP 双向开放能力,配完整 Docker/K8s 部署实战与代码示例。
DataBuff
OpenTelemetry
APM
AI-native
多智能体
可观测性
MCP
Doris
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
编程
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
2026-08-03 10:45:17 +0800 CST
view 77
深度拆解llama.cpp四大核心架构:GGUF模型格式设计、GGML计算引擎、8种多后端抽象层、K-Quant/I-Quant量化技术体系,附完整代码示例与性能基准测试
llama.cpp
GGUF
GGML
量化
端侧推理
LLM
C++
推理引擎
多后端
K-Quant
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
编程
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
2026-06-10 01:20:57 +0800 CST
view 639
2026年Ollama本地大模型部署完全指南:从架构原理、GGUF量化、ModelFile自定义、多语言集成(Python/JS/Go)、RAG实战到Docker/K8s生产部署,8500字深度长文。
Ollama
本地部署
大模型
LLM
生产级
GGUF
量化
WorldMonitor 深度拆解:75K Stars 的「全球态势感知仪表板」,凭什么把 500+ 信源、56 种地图图层和本地 AI 塞进一个浏览器标签页
编程
WorldMonitor 深度拆解:75K Stars 的「全球态势感知仪表板」,凭什么把 500+ 信源、56 种地图图层和本地 AI 塞进一个浏览器标签页
2026-07-27 19:15:02 +0800 CST
view 214
深度拆解 75K Stars 开源项目 WorldMonitor:500+ 信源聚合、双地图引擎、284 个 Protobuf 合约、CII 国家不稳定指数、三级缓存与 60+ Edge Functions,以及 MCP/SDK/llms.txt 构成的 Agent-native 完整范本。
WorldMonitor
OSINT
deck.gl
MCP
Protobuf
Tauri
Edge Functions
开源
态势感知
AI Agent
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
编程
llama.cpp 深度实战:当 C/C++ 重写遇见端侧 LLM 推理——从 GGUF 量化到 Apple Silicon 38 tokens/s 的生产级完全指南(2026)
2026-06-16 01:17:28 +0800 CST
view 738
llama.cpp 是端侧 LLM 推理的事实标准(180K+ Stars)。本文从源码架构、GGUF 格式、量化方法、跨平台后端、生产部署、性能优化到 DeepSeek V4 Flash 实战,全方位讲解本地 AI 推理。
llama.cpp
GGUF
量化
端侧推理
本地AI
C/C++
Apple Silicon
Apache Flink 3.0 深度解析:从实时计算引擎到 Agent Native 基础设施——Agentic Streaming、Flink Agents 与多模态数据湖的完整实战指南
编程
Apache Flink 3.0 深度解析:从实时计算引擎到 Agent Native 基础设施——Agentic Streaming、Flink Agents 与多模态数据湖的完整实战指南
2026-07-06 06:42:31 +0800 CST
view 504
深度解析Apache Flink 3.0 Agent Native架构:从Cloud Native到Agent Native的范式转换、Agentic Streaming流水线架构、Flink Agents事件驱动智能体框架、Apache Paimon 2.0多模态数据湖、Apache Fluss 1.0实时上下文层与MCP Gateway、CPU+GPU混合调度、淘宝闪购与小红书生产实战。含Java/Python完整代码示例。
Apache Flink
Flink Agents
Agent Native
Agentic Streaming
实时计算
AI Agent
多模态数据湖
Apache Paimon
Apache Fluss
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
52
下一页