程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
DuckLake v1.0 深度解析:用关系型数据库如何颠覆湖仓一体的"小文件地狱"
编程
DuckLake v1.0 深度解析:用关系型数据库如何颠覆湖仓一体的"小文件地狱"
2026-04-19 03:14:23 +0800 CST
view 1013
DuckDB团队发布DuckLake v1.0,用关系型数据库管理元数据,查询速度比Iceberg快926倍。深度解析数据内联、排序表、桶分区、VARIANT类型等核心特性。
DuckLake
DuckDB
湖仓一体
数据湖
大数据
Apache Iceberg V3 深度拆解:当删除向量取代删除文件——从 Puffin 字节级解析到行级血缘 CDC 的完整实战指南(2026)
编程
Apache Iceberg V3 深度拆解:当删除向量取代删除文件——从 Puffin 字节级解析到行级血缘 CDC 的完整实战指南(2026)
2026-08-13 22:29:43 +0800 CST
view 127
深度拆解 Apache Iceberg V3:从 Hive 表格式四宗罪、四层元数据指针链、V2 删除文件爆炸的三重代价,到删除向量 Roaring Bitmap 编码、Puffin 字节级布局手写解析器、行级血缘增量 CDC、Variant 半结构化类型,配 PySpark/Flink/DuckDB/PyIceberg 完整实战与 15 条生产踩坑清单。
Apache Iceberg
删除向量
行级血缘
湖仓一体
数据湖
Puffin
Variant
数据工程
Apache Iceberg v3 深度拆解:当表格式决定给每一行发身份证——删除向量、行血缘继承链与 v4 相对路径的元数据手术
编程
Apache Iceberg v3 深度拆解:当表格式决定给每一行发身份证——删除向量、行血缘继承链与 v4 相对路径的元数据手术
2026-08-10 05:49:00 +0800 CST
view 130
深度拆解 Apache Iceberg v3 规范:Puffin deletion-vector-v1 删除向量的 64->32+32 位图切分、_row_id 行血缘四级继承链与乐观提交重试的关系、variant/geometry/unknown 新类型与默认值真值表、多参数变换 source-ids 互斥规则、表加密密钥分层,以及 v4 相对路径解析的双斜杠陷阱。含完整升级剧本、体检 SQL、七条工程规律与十条踩坑清单。
Apache Iceberg
表格式
删除向量
行血缘
数据湖
Puffin
Roaring Bitmap
Variant
数据库
湖仓一体
Apache Iceberg V3 深度拆解:删除向量、行血缘与 Variant 类型,湖仓表格式的第三次范式转移
编程
Apache Iceberg V3 深度拆解:删除向量、行血缘与 Variant 类型,湖仓表格式的第三次范式转移
2026-08-02 01:39:04 +0800 CST
view 207
Iceberg V3 规范深度拆解:从 V2 position delete 的读放大死穴讲起,逐字节剖析 Puffin 删除向量与 Roaring Bitmap 编码、行血缘的零开销 ID 分配算法、Variant 类型与 Shredding 打散机制。附手写 DV 解析器、增量物化视图、Compaction 决策脚本与踩坑清单。
Iceberg
数据湖
湖仓一体
大数据
Spark
开源
DuckDB 的三次自我否定:当进程内数据库长出网络协议——Quack、VARIANT 与 v2.0 异步 I/O 的全链路架构拆解
编程
DuckDB 的三次自我否定:当进程内数据库长出网络协议——Quack、VARIANT 与 v2.0 异步 I/O 的全链路架构拆解
2026-08-11 07:48:34 +0800 CST
view 155
DuckDB 2026 三次自我否定深度拆解:Quack 协议为何建在 HTTP 上、6000万行4.94秒批量传输与8线程撞上存储层天花板、VARIANT shredding 带来 10-100 倍提速的三个来源、v2.0 异步 I/O 双线程池与 read-ahead 队列、TPC-H Q6 从 8.230s 到 2.227s 的调优路径。含部署实战与 14 条踩坑清单。
DuckDB,Quack协议,VARIANT,异步IO,OLAP,数据湖,DuckLake,Parquet,S3,列式存储,数据库,性能优化,湖仓一体
DuckDB 1.5 + Iceberg 写入深度拆解:当单机分析引擎终于长出湖仓的手——从 positional deletes 到 DuckLake v0.4 的元数据取舍
编程
DuckDB 1.5 + Iceberg 写入深度拆解:当单机分析引擎终于长出湖仓的手——从 positional deletes 到 DuckLake v0.4 的元数据取舍
2026-08-12 11:48:14 +0800 CST
view 150
DuckDB-Iceberg v1.4.2 全面支持 insert/update/delete。深度拆解 Iceberg 四层寻址链、positional deletes 与 merge-on-read 读放大、事务快照钉住带来的数量级优化、DuckLake v0.4 元数据入 SQL 库的架构取舍,含 Docker+SQL+Python 七个实战与 18 条生产踩坑清单。
DuckDB
Apache Iceberg
DuckLake
湖仓一体
Lakehouse
merge-on-read
数据湖
Parquet
VARIANT
数据库
Apache Iceberg v3 深度拆解:当删除向量把行级更新从「小文件雪崩」拉回一次位运算——从 Puffin 二进制布局、Row Lineage 继承链到 Variant/地理类型与生产迁移全链路实战
编程
Apache Iceberg v3 深度拆解:当删除向量把行级更新从「小文件雪崩」拉回一次位运算——从 Puffin 二进制布局、Row Lineage 继承链到 Variant/地理类型与生产迁移全链路实战
2026-08-19 05:21:04 +0800 CST
view 95
深度拆解 Apache Iceberg v3:从 v2 位置删除文件的读放大困局,到 Puffin deletion-vector-v1 字节级布局、Roaring 分片位图、Row Lineage 四级继承链、Variant/地理类型与列默认值,配可运行 Python 解析器、Spark/PyIceberg 实战与生产迁移调优清单。
Apache Iceberg
Iceberg v3
删除向量
Puffin
Row Lineage
数据湖仓
Lakehouse
Roaring Bitmap
Variant
表格式
DuckLake v1.0 深度解析:DuckDB 团队如何用关系型数据库颠覆数据湖架构——926 倍性能背后的湖仓一体新范式
编程
DuckLake v1.0 深度解析:DuckDB 团队如何用关系型数据库颠覆数据湖架构——926 倍性能背后的湖仓一体新范式
2026-05-09 13:14:28 +0800 CST
view 1291
DuckDB 团队于 2026 年 4 月 13 日发布 DuckLake v1.0——一种用关系型数据库存储元数据的湖仓一体新范式。官方基准显示查询速度比 Iceberg 快 926 倍,数据摄取快 105 倍。本文深入解析其架构原理、数据内联机制、性能差异根因及实战代码。
DuckDB,DuckLake,数据湖,湖仓一体,Apache Iceberg,Delta Lake,Parquet,OLAP
DuckDB 深度实战:把「分析引擎」塞进应用进程里——向量化执行、列式存储与直查 PB 级 Parquet 湖仓的完整指南(2026)
编程
DuckDB 深度实战:把「分析引擎」塞进应用进程里——向量化执行、列式存储与直查 PB 级 Parquet 湖仓的完整指南(2026)
2026-07-08 12:15:42 +0800 CST
view 333
从工程视角彻底讲透 DuckDB:嵌入式进程内 OLAP 的定位、向量化执行与列式存储原理、直查 Parquet/Iceberg 的架构,配 7 个可运行代码实战与性能优化清单。
DuckDB
OLAP
向量化执行
列式存储
Parquet
数据湖仓
ETL
Arrow
Apache Iceberg V3 深度拆解:Deletion Vectors、Row Lineage 与 Variant 类型,开放表格式如何终结数据湖的「文件散养」时代
编程
Apache Iceberg V3 深度拆解:Deletion Vectors、Row Lineage 与 Variant 类型,开放表格式如何终结数据湖的「文件散养」时代
2026-07-30 01:46:13 +0800 CST
view 267
深度拆解 Apache Iceberg V3 规范三大核心改动:Binary Deletion Vectors 终结删除文件堆积、Row Lineage 行级血缘赋能增量计算与审计、Variant 半结构化类型落地,附 V2 升级实战与冷静的边界分析。
Iceberg
数据湖
Deletion Vectors
Row Lineage
Variant
表格式
Spark
Trino
大数据
开源
DuckDB 生态深度拆解:当嵌入式数据库决定「自己当服务器」——从向量化引擎到 Quack 协议,一个 28K Star 的分析型数据库如何用「Lakehouse 即 SQL」重新定义数据基础设施的终极形态
编程
DuckDB 生态深度拆解:当嵌入式数据库决定「自己当服务器」——从向量化引擎到 Quack 协议,一个 28K Star 的分析型数据库如何用「Lakehouse 即 SQL」重新定义数据基础设施的终极形态
2026-08-05 21:14:25 +0800 CST
view 221
深度拆解DuckDB生态系统:Quack客户端-服务器协议、DuckLake SQL-native Lakehouse格式、pg_quack向量化分析引擎嵌入PostgreSQL,附完整架构分析与生产部署实战
DuckDB
DuckLake
Quack
Lakehouse
数据湖
OLAP
列式存储
向量化引擎
pg_quack
PostgreSQL
数据工程
开源
Apache Iceberg 深度实战:当数据湖长出 ACID 与模式演进——从 Manifest 三层元数据到隐藏分区、时间旅行与生产级 Lakehouse 完全指南(2026)
编程
Apache Iceberg 深度实战:当数据湖长出 ACID 与模式演进——从 Manifest 三层元数据到隐藏分区、时间旅行与生产级 Lakehouse 完全指南(2026)
2026-07-09 04:48:40 +0800 CST
view 269
从一次数据湖事故出发,深入拆解 Apache Iceberg 的四层元数据、隐藏分区、Schema/Partition 演进、时间旅行与行级更新,并给出可直接落地的 Spark/Trino/PyIceberg 代码与性能优化清单。
数据湖
Iceberg
Lakehouse
表格式
大数据
DuckLake 1.0 深度解析:SQL-Only Lakehouse 如何用数据库元存储终结数据湖的小文件噩梦
编程
DuckLake 1.0 深度解析:SQL-Only Lakehouse 如何用数据库元存储终结数据湖的小文件噩梦
2026-04-20 08:47:08 +0800 CST
view 898
DuckLake 1.0 发布:用数据库管理元数据的 Lakehouse 格式,Data Inlining 终结小文件问题,支持 Multiplayer DuckDB 多玩家协作模式
DuckDB
DuckLake
数据湖
Lakehouse
Iceberg
Delta Lake
OLAP
Apache Flink 3.0 深度解析:从实时计算引擎到 Agent Native 基础设施——Agentic Streaming、Flink Agents 与多模态数据湖的完整实战指南
编程
Apache Flink 3.0 深度解析:从实时计算引擎到 Agent Native 基础设施——Agentic Streaming、Flink Agents 与多模态数据湖的完整实战指南
2026-07-06 06:42:31 +0800 CST
view 666
深度解析Apache Flink 3.0 Agent Native架构:从Cloud Native到Agent Native的范式转换、Agentic Streaming流水线架构、Flink Agents事件驱动智能体框架、Apache Paimon 2.0多模态数据湖、Apache Fluss 1.0实时上下文层与MCP Gateway、CPU+GPU混合调度、淘宝闪购与小红书生产实战。含Java/Python完整代码示例。
Apache Flink
Flink Agents
Agent Native
Agentic Streaming
实时计算
AI Agent
多模态数据湖
Apache Paimon
Apache Fluss
DuckDB v2.0 异步 I/O 深度拆解:当 64 核机器有 90% 的时间在等 S3——从双线程池、预读队列到内存治理的架构手术
编程
DuckDB v2.0 异步 I/O 深度拆解:当 64 核机器有 90% 的时间在等 S3——从双线程池、预读队列到内存治理的架构手术
2026-08-10 02:49:58 +0800 CST
view 224
深度拆解 DuckDB v2.0 异步 I/O 架构:REGULAR/ASYNC 双线程池、无生产者预读队列、fetch task 倒计时闩、read_ahead_depth 内存治理与 TemporaryMemoryManager 协商机制。含 TPC-H Q6 在 S3 上 3.7 倍、CSV 近 20 倍实测解读,row group 尺寸 12 倍差距的 U 型曲线分析,完整 A/B 脚本、Parquet 体检 SQL、七条调优规律与十条踩坑清单。
DuckDB,异步IO,Parquet,数据湖,S3,性能优化,存算分离,DuckLake,Quack,列式存储
万字深度解析 RustFS:当 Rust 遇见高性能对象存储——从 2.3x 性能超越 MinIO 到 S3 协议完全兼容、从分布式架构到 AI 数据湖优化的完全技术指南(2026)
编程
万字深度解析 RustFS:当 Rust 遇见高性能对象存储——从 2.3x 性能超越 MinIO 到 S3 协议完全兼容、从分布式架构到 AI 数据湖优化的完全技术指南(2026)
2026-07-03 03:44:52 +0800 CST
view 539
深度解析 RustFS 高性能对象存储:2.3x 超越 MinIO 的技术原理、S3 协议实现、Rust 异步运行时、分布式架构、AI 数据湖集成与生产级部署实战。
RustFS
对象存储
S3兼容
Rust
MinIO替代
分布式存储
AI数据湖
高性能存储
RustFS 深度实战:当 Rust 遇上对象存储——从 S3 兼容到 Iceberg 数据湖的生产级完全指南(2026)
编程
RustFS 深度实战:当 Rust 遇上对象存储——从 S3 兼容到 Iceberg 数据湖的生产级完全指南(2026)
2026-06-14 18:25:16 +0800 CST
view 639
RustFS 是基于 Rust 构建的高性能 S3 兼容对象存储,原生支持 Iceberg,内存占用比 MinIO 降低 30%+。本文深入解析其核心架构、Rust 异步引擎、Iceberg 集成原理,以及从单机部署到 K8s 集群的完全实战指南。
Rust
对象存储
S3
Iceberg
AI数据湖
云原生
性能优化
开源项目
DuckDB 的自我背叛:Quack 协议 + 异步 I/O 如何把「进程内数据库」推上服务器——从协议设计到 v2.0 读前队列全链路拆解
编程
DuckDB 的自我背叛:Quack 协议 + 异步 I/O 如何把「进程内数据库」推上服务器——从协议设计到 v2.0 读前队列全链路拆解
2026-08-17 15:51:07 +0800 CST
view 99
深度拆解 DuckDB 2026 两次架构转向:Quack 客户端-服务器协议(HTTP + application/duckdb,6000万行 4.94s)与 v2.0 异步 I/O(双线程池 + 读前队列,S3 上 3.7 倍提速)。含 row group 大小 U 型曲线实测、调参优先级清单与生产部署代码。
DuckDB
Quack协议
异步IO
OLAP
数据湖
Parquet
客户端服务器
read_ahead_depth
S3
性能优化
DuckLake
列式存储
DuckDB 深度拆解:进程内分析型数据库如何重塑数据栈——从向量化执行引擎到直接读 Parquet、跨源联邦与 DuckLake 湖仓一体的完全指南(2026)
编程
DuckDB 深度拆解:进程内分析型数据库如何重塑数据栈——从向量化执行引擎到直接读 Parquet、跨源联邦与 DuckLake 湖仓一体的完全指南(2026)
2026-08-13 03:42:27 +0800 CST
view 147
深度拆解 DuckDB 嵌入式分析型数据库:从向量化执行引擎、列存剪枝、Parquet 直读,到跨源联邦与 DuckLake 湖仓一体,配可运行代码与 15 条生产踩坑清单。
DuckDB
嵌入式分析数据库
OLAP
列式存储
向量化执行
数据工程
Parquet
湖仓一体
DuckLake
跨源联邦
DuckDB 深度拆解:从嵌入式 OLAP 到异步 I/O 与 DuckLake——一个「不该存在」的数据库如何改写分析引擎的游戏规则
编程
DuckDB 深度拆解:从嵌入式 OLAP 到异步 I/O 与 DuckLake——一个「不该存在」的数据库如何改写分析引擎的游戏规则
2026-08-02 21:13:52 +0800 CST
view 227
深度拆解DuckDB架构:从嵌入式列存引擎到异步I/O管线(v2.0 TPC-H提速3.7倍)、Quack C/S协议、DuckLake湖仓格式,附完整代码示例与生产调优指南
DuckDB
OLAP
异步IO
DuckLake
列存
向量化执行
Quack协议
湖仓一体
数据工程
数据库
DuckDB 生态深度拆解:从「分析领域的 SQLite」到 SQL 原生湖仓——DuckLake、Quack 协议与异步 I/O 如何重新定义嵌入式分析的边界
编程
DuckDB 生态深度拆解:从「分析领域的 SQLite」到 SQL 原生湖仓——DuckLake、Quack 协议与异步 I/O 如何重新定义嵌入式分析的边界
2026-08-03 16:12:07 +0800 CST
view 238
深度拆解DuckDB 2026年三大里程碑:DuckLake v1.0 SQL原生湖仓格式、Quack客户端-服务器协议、异步I/O三阶段模型,附完整代码示例与性能基准
DuckDB
DuckLake
Quack协议
嵌入式数据库
OLAP
湖仓架构
列式存储
数据工程
异步I/O
开源
DuckDB 1.5.0 深度拆解:向量化执行引擎如何把 TB 级分析塞进一台笔记本——从 VARIANT 类型到湖仓直查的全链路实战
编程
DuckDB 1.5.0 深度拆解:向量化执行引擎如何把 TB 级分析塞进一台笔记本——从 VARIANT 类型到湖仓直查的全链路实战
2026-08-18 19:12:37 +0800 CST
view 114
深度拆解 DuckDB 1.5.0 向量化执行引擎:从列式存储、Data Chunk、Morsel-Driven 并行到 VARIANT 半结构化类型与湖仓直查,配 Python/Go/SQL 代码与性能优化清单。
DuckDB
向量化执行
OLAP
嵌入式数据库
VARIANT
湖仓直查
数据分析
Python
DuckDB 深度拆解:当「分析界的 SQLite」装上湖仓引擎——从向量化执行、VARIANT 类型到 DuckLake 三层架构革命(2026)
编程
DuckDB 深度拆解:当「分析界的 SQLite」装上湖仓引擎——从向量化执行、VARIANT 类型到 DuckLake 三层架构革命(2026)
2026-07-17 04:43:20 +0800 CST
view 302
深度拆解 DuckDB 1.5 Variegata:进程内向量化执行引擎、VARIANT 半结构化类型、与 DuckLake 湖仓三层架构,含 Python/SQL 实战与性能优化。
DuckDB
OLAP
向量化执行
VARIANT
DuckLake
湖仓一体
列式存储
数据分析
DuckDB 深度拆解:当分析型数据库塞进一个进程——从向量化执行引擎到 DuckLake 湖仓一体的完全指南(2026)
编程
DuckDB 深度拆解:当分析型数据库塞进一个进程——从向量化执行引擎到 DuckLake 湖仓一体的完全指南(2026)
2026-08-13 12:42:03 +0800 CST
view 205
深度拆解 DuckDB 进程内分析型数据库:列式存储、向量化执行引擎、CBO 优化器、与 Pandas/Arrow 零拷贝协作、DuckLake 湖仓实战,配 15 条生产踩坑清单。
DuckDB
OLAP
向量化执行
列式存储
数据分析
DuckLake
湖仓一体
SQLite
Python
性能优化
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
32
下一页