共享集群模式有什么優點?
共享集群模式Spark on Yarn 模式優點
1)與其他計算框架共享集群資源(eg.Spark框架與MapReduce框架同時運行,如果不用Yarn進行資源分配,MapReduce分到的內存資源會很少,效率低下);資源按需分配,進而提高集群資源利用等。
2)相較于Spark自帶的Standalone模式,Yarn的資源分配更加細致
3)Application部署簡化,例如Spark,Storm等多種框架的應用由客戶端提交后,由Yarn負責資源的管理和調度,利用Container作為資源隔離的單位,以它為單位去使用內存,cpu等。
4)Yarn通過隊列的方式,管理同時運行在Yarn集群中的多個服務,可根據不同類型的應用程序負載情況,調整對應的資源使用量,實現資源彈性管理。
上一篇怎么添加別人的小紅書號