1.HDFS学习知识点

2.HDFS产生背景和定义

HDFS是为了解决海量数据存储的问题；在HDFS诞生之前，如果来了一个100T的数据，一个服务器可能存不下，就必须分开存，一个服务器存一点，还需要一个目录来记录哪些数据存在哪个服务器上；这样不太方便（但是不明白为什么不方便）。HDFS只是分布式文件管理系统中的一种

在HDFS（Hadoop Distributed File System）诞生之前，处理大规模数据时确实存在一些挑战。特别是当数据量达到100TB（或更大），单个服务器很难处理这么大的数据量，因此需要将数据分散存储到多个服务器上。这种情况下，问题主要集中在以下几个方面：

数据分片和管理：在没有HDFS的情况下，如果需要存储大量数据，就必须将数据拆分成较小的部分，并将这些部分分散到不同的服务器上。每次读写数据时，都需要知道哪些服务器上存储了哪些数据，这样才能组合成完整的数据文件。管理这些分片的映射关系需要额外的工作，并且容易出现数据丢失或损坏的风险。

元数据管理：为了找到数据存储的位置，系统需要维护一个复杂的元数据目录。这个目录记录了每个文件的分片及其所在的服务器。随着数据量的增加，元数据的管理变得更加复杂和难以维护，特别是在面对服务器故障或数据迁移时。

数据冗余和容错：在没有HDFS的情况下，数据的冗余和容错能力主要依赖于手动配置和管理。如果某个服务器故障，可能会导致数据丢失或访问中断。没有内建的机制来自动处理数据复制和故障恢复。

负载均衡和扩展性：将数据均匀分配到多个服务器上，并确保负载均衡是一个挑战。在没有HDFS的情况下，系统需要复杂的逻辑来实现数据的均衡分配和扩展。这涉及到动态调整数据存储位置，以应对服务器的增加或减少。

性能问题：在传统的分布式存储系统中，访问和写入分片的数据需要涉及多个服务器的协调。这种方式可能导致性能瓶颈，特别是在高并发的情况下。

HDFS 设计的核心思想就是解决这些问题。它通过以下方式提供了简化的解决方案：

自动分片和副本：HDFS 自动将文件分成较小的块（通常是128MB或256MB），并将这些块分布到集群中的多个节点上。同时，HDFS 自动为每个块创建多个副本（通常是3个副本），以提高数据的可靠性和容错能力。

集中式元数据管理：HDFS 使用 NameNode 来集中管理元数据，记录每个文件及其块的分布情况。数据节点（DataNode）只负责存储实际的数据块，简化了系统的管理。

容错和数据恢复：HDFS 内建了故障检测和自动恢复机制。如果某个数据节点出现故障，系统会自动从其他副本中恢复数据，确保数据的可用性。

高效的读写操作：HDFS 设计优化了大规模数据的读写操作，尤其适合处理大文件的顺序读写。

因此，HDFS 的出现极大地简化了大规模数据存储和处理的复杂性，提高了系统的可靠性和性能。

（2）HDFS定义

HDFS（Hadoop Distributed File System），他是一个文件系统，用于存储文件，通过目录树来定位文件；其次他是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS使用场景：适合一次写入，多次读出的场景；

（3）HDFS优缺点

优点：

高容错性
- 数据自动保存多副本。他通过增加副本的形式，提高容错性。
- 某一个副本丢失后，他可以自动恢复。
适合处理大数据
- 数据规模：能够处理数据规模达到GB、TB、甚至是PB级别的数据。
- 文件规模：能够处理百万规模以上的文件数量，数量很大。
可以构建在廉价的机器上，通过多副本机制，提高可靠性。

缺点：

不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
无法高效的对大量小文件进行存储。
- 存储大量小文件的话，他会占用NameNode大量内存来存储文件目录和块信息，这样是不可取的，因为NameNode的内存总是有限的；
- 一个文件块占用150字节，如果NameNode有128G内存，能存多少？能存9亿个块
- 小文件存储的寻址时间会超过读取时间，他违反了HDFS的设计目标。
不支持并发写入、文件随机修改。
一个文件只能有一个写入，不允许多个线程同时写。
仅支持数据的一个append(追加)，不支持文件的随机修改。

3.HDFS组成架构

（1）NameNode（nn）：就是master，他是一个主管，管理者。

管理HDFS的名称空间
配置副本策略
管理数据块（Block）映射信息
处理客户端读写请求

（2）DataNode：就是slave。NameNode下达命令，DataNode执行操作，具体存储数据的地方

存储实际的数据块；
执行数据块的读/写操作

（3）Client：就是客户端

文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；
与NameNode交互，获取文件的位置信息
与DataNode交互，读取或者写入数据；
Client提供一些命令来管理HDFS，比如NameNode格式化；
Client可以通过一些命令来访问HDFS，比如对HDFS增删改查操作；

（4）Secondary NameNode：2nn，并非NameNode的热备。当NameNode挂掉的时候，他并不能马上替换NameNode并提供服务。

辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；
在紧急情况下，可以辅助恢复NameNode。

4.HDFS文件块大小（面试重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

思考：为什么块的大小不能设置太小，也不能设置太大？

（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置

如果块设置太小，比如设置1kb，如果来了个100kb的文件，就需要把这个文件切分成100份，这样寻找这个文件的时候就会增加寻址时间

（2）如果块这是的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置的所需的时间，导致程序在处理这块数据时，会非常慢。

数据处理是以块为单位的，如果这个块设置很大，比如1T，那么计算这1T的数据的时候会非常的慢，导致整体速度更慢。

总结：HDFS块大小的设置主要取决于磁盘传输速率。

如果是普通的机械硬盘，传输速率在100M/s-200M/s左右，那么可以设置为128M，如果是固态硬盘，传输速率在200M/s-300m/s左右，那么可以设置为256M。

重点

5.HDFS的Shell操作（开发重点）

5.1基本语法

Hadoop fs具体命令 OR hdfs dfs具体命令

两个是完全相同的。

5.2命令大全

5.3 常用命令实操

准备工作

启动 Hadoop 集群（方便后续的测试）

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

-help：输出这个命令参数

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

创建/sanguo 文件夹

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /sanguo

5.3.1 上传

-moveFromLocal：从本地剪切粘贴到 HDFS

[root@hadoop102 hadoop-3.1.3]$ vim shuguo.txt
输入：
shuguo
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt 
/sanguo

-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去

[root@hadoop102 hadoop-3.1.3]$ vim weiguo.txt
输入：
weiguo
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal weiguo.txt 
/sanguo

-put：等同于 copyFromLocal，生产环境更习惯用 put

[root@hadoop102 hadoop-3.1.3]$ vim wuguo.txt
输入：
wuguo
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo

-appendToFile：追加一个文件到已经存在的文件末尾

[root@hadoop102 hadoop-3.1.3]$ vim liubei.txt
输入：
liubei
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt 
/sanguo/shuguo.txt

5.3.2 下载

-copyToLocal：从 HDFS 拷贝到本地

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./

-get：等同于 copyToLocal，生产环境更习惯用 get

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

5.3.3 HDFS 直接操作

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo

-cat：显示文件内容

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo.txt

-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt

-mkdir：创建路径

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo

-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo.txt /jinguo

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo

-tail：显示一个文件的末尾 1kb 的数据

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuguo.txt

-rm：删除文件或文件夹

hadoop fs -rm /sanguo/shuguo.txt

hadoop fs -rm -r /sanguo

-du 统计文件夹的大小信息

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo 
27 81 /jinguo
[root@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo
14 42 /jinguo/shuguo.txt
7 21 /jinguo/weiguo.txt
6 18 /jinguo/wuguo.tx

说明：27 表示文件大小；81 表示 27*3 个副本；/jinguo 表示查看的目录

-setrep：设置 HDFS 中文件的副本数量

[root@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuguo.txt

这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得

看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10

台时，副本数才能达到 10。

久不停息的笔记本

Hadoop-HDFS命令学习