-
数据湖(十二):Spark3.1.2与Iceberg0.12.1整合
Spark可以操作Iceberg数据湖,这里使用的Iceberg的版本为0.12.1,此版本与Spark2.4版本之上兼容。由于在Spark2.4版本中在操作I...
Lansonli 2023-01-02
496 0 0 -
云原生(三十四) | Kubernetes篇之平台存储系统实战
RADOS: Reliable, Autonomic Distributed Object Store
Lansonli 2023-01-02
473 0 0 -
云原生(三十六) | Kubernetes篇之Harbor入门和安装
作为一个企业级私有 Registry 服务器,Harbor 提供了更好的性能和安全。提升用户使用 Registry 构建和运行环境传输镜像的效率。Harbor ...
Lansonli 2023-01-02
460 0 0 -
数据湖(二十):Flink兼容Iceberg目前不足和Iceberg与Hudi对比
Iceberg和Hudi都是数据湖技术,从社区活跃度上来看,Iceberg有超越Hudi的趋势。他们有以下共同点:
Lansonli 2023-01-02
474 0 0 -
大数据ClickHouse(一):入门介绍与其特性
批处理会将源业务系统中的数据通过数据抽取工具(例如Sqoop)将数据抽取到HDFS中,这个过程可以使用MapReduce、Spark、Flink技术对数据进行E...
Lansonli 2023-01-02
470 0 0 -
大数据ClickHouse(二):多种安装方式
在官网中可以看到ClickHouse可以基于多种方式安装,rpm安装、tgz安装包安装、docker镜像安装、源码编译安装等。这里我们使用rpm安装包安装。目前...
Lansonli 2023-01-02
485 0 0 -
数据治理(四):数据仓库数据质量管理
下面我们针对音乐数据中心数仓项目第四个业务:“统计地区营收情况业务”来说明数据质量如何进行管理。此业务数据质量管理重点放在 ODS层,EDS层(DWD层、DWS...
Lansonli 2023-01-02
457 0 0 -
大数据ClickHouse(四):数据类型详细介绍
ClickHouse提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。我们可以在system.data_type_families表中检查数据类型...
Lansonli 2023-01-02
495 0 0 -
大数据ClickHouse(五):数据库引擎介绍与实例演示
ClickHouse中支持在创建数据库时指定引擎,目前比较常用的两种引擎为默认引擎和MySQL数据库引擎。
Lansonli 2023-01-02
464 0 0 -
湖仓一体电商项目(六):大屏可视化工具腾讯云图
大屏可视化工具有很多,例如:腾讯云图,帆软Finebi,阿里DataV,百度Sugar,思迈特SmartBi,免费的积木报表等工具。我们这里选择腾讯云图来实现数...
Lansonli 2023-01-02
482 0 0