程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
编程
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
2026-07-03 08:45:53 +0800 CST
view 295
深度解析 Ollama v0.20 Tool Calling,从协议原理到生产级多工具 Agent 实战,含天气查询、数据库查询、Web搜索三大实战案例与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
编程
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
2026-07-03 08:47:18 +0800 CST
view 291
深度长文:Ollama v0.20 Tool Calling 从协议原理到生产级多工具 Agent 实战,含天气查询、数据库操作、Web搜索三大案例与安全防护策略(2026)。
Ollama
AI Agent
Tool Calling
本地大模型
生产级
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 315
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27 +0800 CST
view 590
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
编程
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
2026-07-26 17:15:22 +0800 CST
view 214
深度长文实战 Speculative Decoding 推测解码技术:从拒绝采样原理、草稿模型选型到 vLLM 生产部署,包含完整代码实现、性能基准测试和 DSpark 等前沿变体解析,不修改模型不牺牲质量即可实现 2-3 倍推理加速。
Speculative Decoding
LLM推理加速
推测解码
vLLM
DSpark
WorldMonitor 深度拆解:73K Stars 的「全球态势感知」仪表盘,凭什么不用任何前端框架?
编程
WorldMonitor 深度拆解:73K Stars 的「全球态势感知」仪表盘,凭什么不用任何前端框架?
2026-07-27 08:44:14 +0800 CST
view 317
深度拆解一周涨1万Star的WorldMonitor:500+信源聚合、双地图引擎、零框架Vanilla TS前端、一套代码6个站点变体、本地Ollama兜底与MCP/SDK全家桶,附自托管与mini复刻实战。
WorldMonitor
开源
态势感知
Vanilla TypeScript
deck.gl
MCP
Ollama
Tauri
Local-File-Organizer 深度解析:3K Stars 本地 AI 文件整理,Llama3.2+LLaVA 完全离线运行
编程
Local-File-Organizer 深度解析:3K Stars 本地 AI 文件整理,Llama3.2+LLaVA 完全离线运行
2026-05-15 12:22:33 +0800 CST
view 561
深入解析 3K Stars 的 Local-File-Organizer:基于 Llama3.2 3B + LLaVA-v1.6 双模型的本地 AI 文件整理工具,使用 Nexa SDK 实现 100% 离线推理,自动识别文件内容、智能分类重命名、支持图片视觉分析和文档内容解析,零数据外泄。
Local-File-Organizer
AI文件整理
Llama3
LLaVA
本地AI
隐私
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
编程
llama.cpp 深度拆解:一个纯 C++ 引擎如何让 180K Star 成为端侧 LLM 的事实标准——从 GGUF 格式到多后端架构的全栈解析
2026-08-03 10:45:17 +0800 CST
view 239
深度拆解llama.cpp四大核心架构:GGUF模型格式设计、GGML计算引擎、8种多后端抽象层、K-Quant/I-Quant量化技术体系,附完整代码示例与性能基准测试
llama.cpp
GGUF
GGML
量化
端侧推理
LLM
C++
推理引擎
多后端
K-Quant
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
编程
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
2026-04-08 15:51:53 +0800 CST
view 2100
深度对比SGLang与vLLM两大LLM推理框架,从架构设计、核心原理、性能实测、适用场景多维度解析,附2026年选型建议
LLM
SGLang
vLLM
推理优化
大模型
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
编程
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
2026-06-10 01:20:57 +0800 CST
view 673
2026年Ollama本地大模型部署完全指南:从架构原理、GGUF量化、ModelFile自定义、多语言集成(Python/JS/Go)、RAG实战到Docker/K8s生产部署,8500字深度长文。
Ollama
本地部署
大模型
LLM
生产级
GGUF
量化
从零构建企业级本地化RAG系统:Ollama与RAGFlow深度实战
编程
从零构建企业级本地化RAG系统:Ollama与RAGFlow深度实战
2026-06-29 01:46:19 +0800 CST
view 567
深入探讨如何基于Ollama和RAGFlow构建完全本地化的RAG系统,涵盖架构设计、部署实战、代码实现和性能优化。
RAG
Ollama
RAGFlow
本地部署
LLM
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
编程
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39 +0800 CST
view 1103
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构:分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比,提供生产级部署实战指南。
Google
端侧AI
LiteRT-LM
WebGPU
量化
KV Cache
TensorFlow Lite
LLM推理
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 105
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
OpenTelemetry 深度实战:当可观测性终于有了统一标准——从三大信号模型、Collector 管线到 eBPF 零侵入采集的生产级完全指南
编程
OpenTelemetry 深度实战:当可观测性终于有了统一标准——从三大信号模型、Collector 管线到 eBPF 零侵入采集的生产级完全指南
2026-07-11 15:44:43 +0800 CST
view 294
深度拆解 OpenTelemetry 的 Signals 信号模型、OTLP 协议、语义约定与上下文传播,剖析 Collector 接收-处理-导出管线与 Agent/Gateway 部署拓扑,配 Go/Python/Java 手动与自动埋点、Collector 配置与 eBPF 零侵入采集实战,并给出尾部采样、基数治理与成本优化方案。
OpenTelemetry
可观测性
分布式追踪
OpenTelemetry Collector
eBPF
云原生
APM
分布式系统
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
编程
TriAttention深度解析:用三角函数革命性压缩KV Cache,让长推理从「显存地狱」中脱困
2026-05-17 04:14:18 +0800 CST
view 621
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
编程
【重制版】TriAttention深度解析:三角函数如何让长推理从显存地狱中脱困
2026-05-17 04:14:33 +0800 CST
view 530
深入解析MIT韩松团队提出的TriAttention方法,利用Pre-RoPE空间Q/K集中性和三角函数级数实现革命性的KV Cache压缩,在AIME25上以3072 KV budget达到与Full Attention持平的40.8%准确率,同时实现10.7倍KV显存压缩和2.5-6.3倍吞吐量提升。
LLM
KV Cache
TriAttention
MIT
英伟达
浙大
长推理
KV压缩
三角函数
RoPE
Attention优化
WWDC 2026 Foundation Models 深度实战:当苹果把大模型塞进 Swift——从端侧推理到 Gemini 兜底的生产级 AI 应用开发完全指南(2026)
编程
WWDC 2026 Foundation Models 深度实战:当苹果把大模型塞进 Swift——从端侧推理到 Gemini 兜底的生产级 AI 应用开发完全指南(2026)
2026-06-12 16:48:52 +0800 CST
view 756
WWDC 2026 最核心的 AI 技术全面拆解:Foundation Models framework 原生 Swift API、三层智能架构、App Intents 语义桥接、Evaluations 测试框架、Siri AI 独立应用——从架构分析到代码实战的完整生产级指南。
WWDC 2026
Foundation Models
Swift AI
Apple Intelligence
Siri AI
App Intents
Gemini
iOS 27
macOS 27
Xcode 27
µP 深度拆解:当调参侠终于破解 scaling 诅咒——从最大更新参数化到万亿参数大模型超参迁移的工程全貌(2026)
编程
µP 深度拆解:当调参侠终于破解 scaling 诅咒——从最大更新参数化到万亿参数大模型超参迁移的工程全貌(2026)
2026-07-19 08:43:41 +0800 CST
view 221
深度拆解微软/ OpenAI 的 µP(最大更新参数化)理论:从 Tensor Programs 数学框架、为什么标准参数化失效、到 PyTorch mup 库完整实战代码,含 Transformer 层、AdamW 配置、跨尺度超参数迁移验证与生产级 Pipeline。
µP
Max Update Parametrization
超参数迁移
Tensor Programs
深度学习
Transformer
LLM训练
AdamW
mup
微软
Vite 6 深度解析:构建工具的新里程碑,如何让前端开发快上加快
编程
Vite 6 深度解析:构建工具的新里程碑,如何让前端开发快上加快
2026-05-12 02:18:40 +0800 CST
view 678
深度解析Vite 6的核心架构升级:Environment API实现浏览器/SSR/Edge Workers多环境统一构建、依赖预构建并行化让冷启动缩短40%、模块级HMR让热更新延迟低于10ms、Rollup 4集成提升生产构建速度29%、完整迁移指南与破坏性变更详解
Vite6,前端构建工具,Environment API,HMR,热更新,Rollup4,esbuild,性能优化,迁移指南,React,Vue,Svelte
WWDC 2026 开发者深度实战:当苹果生态迎来三重地震——Swift 6 严格并发、macOS 27 告别 Intel、Siri AI 开发框架与折叠屏适配的生产级完全指南
编程
WWDC 2026 开发者深度实战:当苹果生态迎来三重地震——Swift 6 严格并发、macOS 27 告别 Intel、Siri AI 开发框架与折叠屏适配的生产级完全指南
2026-06-18 10:27:33 +0800 CST
view 383
WWDC 2026开发者实战指南:Swift 6严格并发迁移、macOS 27告别Intel、Siri AI四套开发框架、折叠屏iPhone Ultra适配、Liquid Glass设计体系的生产级完全指南
Swift 6
WWDC 2026
macOS 27
iOS 27
Swift concurrency
Apple Intelligence
Siri AI
Core AI
App Intents
Foundation Models
折叠屏
iPhone Ultra
Liquid Glass
Apple Silicon
WWDC 2026深度解析:苹果AI战略全面重构,Siri从语音助手进化为智能体 —— 从系统架构到开发者机遇的完全指南
编程
WWDC 2026深度解析:苹果AI战略全面重构,Siri从语音助手进化为智能体 —— 从系统架构到开发者机遇的完全指南
2026-06-09 18:15:56 +0800 CST
view 564
WWDC 2026正式发布全新Siri AI,从技术架构到开发者生态全面解析苹果AI战略反击战
WWDC
Apple
Siri
AI
iOS
macOS
App Intents
Apple Intelligence
OpenTelemetry 深度拆解:当可观测性成为云原生第一公民——三大信号、Collector 架构与 AI 原生 APM 新范式
编程
OpenTelemetry 深度拆解:当可观测性成为云原生第一公民——三大信号、Collector 架构与 AI 原生 APM 新范式
2026-07-16 13:20:48 +0800 CST
view 291
深度拆解 OpenTelemetry:三大信号体系(Traces/Metrics/Logs)、Collector Pipeline 架构、Kubernetes 部署实战、AI 原生 APM 新范式,配 Python/FastAPI、Go/gRPC 完整代码示例。
OpenTelemetry
OTel
可观测性
分布式追踪
Traces
Metrics
Logs
云原生
Collector
CNCF
SigNoz
Databuff
APM
采样策略
Grafana
Prometheus
ClickHouse
Loki
tail sampling
AI Agent
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 307
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
Dify v1.15.0 深度解析:difyctl CLI + 思维链可视化,手把手打造生产级 LLM 应用编排引擎
编程
Dify v1.15.0 深度解析:difyctl CLI + 思维链可视化,手把手打造生产级 LLM 应用编排引擎
2026-07-10 18:17:23 +0800 CST
view 608
深度解析 Dify v1.15.0 三大核心更新:difyctl CLI 将 AI 应用纳入 GitOps 管理,思维链可视化让 LLM 推理透明可追溯,慢模型轮询机制解决质量与速度的两难。附完整代码示例与生产部署指南。
Dify
LLM应用
工作流编排
difyctl
思维链可视化
Agent
RAG
GitOps
Kubernetes
生产部署
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
61
62
63
64
65
...
97
下一页