深圳市城鄉(xiāng)和建設局網站首頁貼吧推廣
Yarn是一個資源調度平臺,負責為運算程序提供服務器運算資源,相當于一個分布式的操作系統(tǒng),而MapReduce等運算程序則相當于運行于操作系統(tǒng)之上的應用程序
1.Yarn基礎架構
Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等組件構成
ResourceManager(RM)作用:
- 處理客戶端請求
- 監(jiān)控NodeManager
- 啟動或監(jiān)控ApplicationMaster
- 資源分配與調度
NodeManager(NM)作用:
- 管理單個節(jié)點上的資源
- 處理來自ResourceManager的命令
- 處理來自ApplicationMaster的命令
ApplicationMaster(AM)作用:
- 為應用程序申請資源并分配給內部的任務
- 任務的監(jiān)控與容錯
Container:
Container是Yarn中的資源抽象,它封裝了某個節(jié)點上的多維度資源,如內存、CPU、磁盤、網絡等