HDFS的特性
对于整个集群有单一的命名空间;
具有数据一致性,都适合一次写入多次读取的模型,客户端在文件没有被成功创建之前是无法看到文件存在的;
文件会被分割成多个文件块,每个文件块被分配存储到数据节点上,而且会根据配置由复制文件块来保证数据的安全性。
HDFS角色
NameNode、DataNode和Client。
- NameNode可以看做是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。也就是管理Metadata。
- DataNode是文件存储的基本单元,它将文件块(Block)存储在本地文件系统中,保存了所有Block的Metadata,同时周期性地将所有存在的Block信息发送给NameNode。
- Client就是需要获取分布式文件系统文件的应用程序。
HDFS其它功能
- 文件块(Block)的放置:为了数据安全,一个Block会有三份备份。
- 心跳检测:心跳检测DataNode健康状况。
- 数据复制:平衡存储利用率和数据交互压力。
- 数据校验:采用CRC32做数据校验。
- 数据管道性写入:每个Block都写入了(多个备份)才传入下一个Block进行写入。
- 安全模式:安全模式下无法修改删除,系统启动的时候可以检测各DataNode的有效性。。
原文链接:Hadoop学习笔记(1)--HDFS,转载请注明来源!