官方网址链接:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
简介
YARN是一种Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度。YARN对可伸缩性、可靠性和集群利用率进行了提升。目前Insight HD中所有计算组件都通过YARN来进行统一的资源管理和调度。
YARN包括两种服务,一种是全局的资源管理器 ResourceManager,另一种是每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而 ApplicationMaster负责单个应用程序的管理。
应用场景
YARN是Hadoop中的资源管理系统,允许多个应用程序运行在一个集群中,并将资源按需分配给它们,大大提高了资源利用率。YARN允许各类作业和服务混合部署在一个集群中,并提供了容错、资源隔离及负载均衡等方面的支持,大大简化了作业和服务的部署和管理成本。
功能特性
1. 支持多种计算框架
YARN是一种通用资源管理系统,可为上层应用提供统一的资源管理和调度,它支持的计算框架种类很多,Insight HD中的计算组件都可以通过YARN来进行统一的资源管理和调度。
2. 资源统一分配
Insight HD集群中的计算组件共享集群所有资源,通过YARN统一进行资源管理和调度。共享集群模式通过多种计算组件共享资源,集群中的资源将得到更加充分的利用。