-
大数据必学Java基础(五十九):Map接口源码部分
实际上这个算法就是: h%length ,但是取模的话 效率太低,所以用位运算效率会很高。
Lansonli 2023-01-02442 0 0 -
大数据ZooKeeper(三):Zookeeper数据模型和节点类型
ZooKeeper的数据模型,在结构上和标准文件系统的非常相似,拥有一个层次的命名空间,都是采用树形层次结构,ZooKeeper树中的每个节点被称为—Znode...
Lansonli 2023-01-02436 0 0 -
大数据ZooKeeper(六):ZooKeeper选举机制
zookeeper默认的算法是FastLeaderElection,采用投票数大于半数则胜出的逻辑。
Lansonli 2023-01-02439 0 0 -
大数据ZooKeeper(四):ZooKeeper的shell操作
dataVersion:数据版本号,每次对节点进行set操作,dataVersion的值都会增加1(即使设置的是相同的数据),可有效避免了数据更新时出现的先后顺...
Lansonli 2023-01-02438 0 0 -
大数据ZooKeeper(五):ZooKeeper Java API操作
这里操作Zookeeper的JavaAPI使用的是一套zookeeper客户端框架 Curator ,解决了很多Zookeeper客户端非常底层的细节开发工作 ...
Lansonli 2023-01-02439 0 0 -
大数据Kafka(五):Kafka的java API编写
将 log4j.properties 配置文件放入到 resources 文件夹中
Lansonli 2023-01-02448 0 0 -
大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch
在资料中有一个kafka_server.log.tar.gz压缩包,里面包含了很多的Kafka服务器日志,现在我们为了通过在Elasticsearch中快速查询...
Lansonli 2023-01-02440 0 0 -
大数据ELK(二十二):采集Apache Web服务器日志
Apache的Web Server会产生大量日志,当我们想要对这些日志检索分析。就需要先把这些日志导入到Elasticsearch中。此处,我们就可以使用Log...
Lansonli 2023-01-02442 0 0 -
湖仓一体电商项目(十六):业务实现之编写写入ODS层业务代码
由于本业务涉及到MySQL业务数据和用户日志数据,两类数据是分别采集存储在不同的Kafka Topic中的,所以这里写入ODS层代码由两个代码组成。
Lansonli 2023-01-02445 0 0 -
湖仓一体电商项目(十七):业务实现之编写写入DIM层业务代码
DIM层业务代码与第一个业务处理Kafka topic “KAFKA-DIM-TOPIC” 数据到HBase代码完全一直,所以这里直接复用第一个业务中的DIM层...
Lansonli 2023-01-02437 0 0