信息系統項目管理師綜合知識真題考點：Hadoop組成

Hadoop概念：

狹義Hadoop：指的是HDFS、YARN、MAPREDUCE三大組件。

廣義Hadoop：指的是hadoop一系列的生態(tài)圈

1、Hadoop Distributed File System (HDFS)：是一個分布式文件系統。HDFS的文件會被分為很多的Block分散存儲在不同機器上。[為海量的數據提供了存儲]

(1)NameNode(nn)：存儲文件的元數據，如文件名，文件目錄結構，文件屬性(生成時間、副本數、文件權限)，以及每個文件的塊列表和塊所在的DataNode等。

(2)DataNode(dn)：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

(3)Secondary NameNode(2nn)：每隔一段時間對NameNode元數據備份。

2、Yet Another Resource Negotiator(YARN)：是一種通用的資源管理系統和調度平臺。[另一種資源協調者，是Hadoop的資源管理器]

ResourceManager(RM)：整個集群資源(內存、CPU等)的管理者

NodeManager(NM)：單個節(jié)點服務器資源的管理者。

ApplicationMaster(AM)：單個任務運行的管理者。

Container：容器，相當于一臺獨立的服務器，里面封裝了任務運行所需要的資源，如內存、CPU、磁盤、網絡等。

3、MapReduce：本身就是用于并行處理大數據集的軟件框架。將計算過程分為兩個階段：Map 和Reduce。[為海量的數據提供了計算]

(1)Map 階段并行處理輸入數據

(2)Reduce 階段對Map 結果進行匯總

考點相關真題

相關閱讀：信息系統項目管理師綜合知識真題考點匯總