YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的一个重要组成部分，它在Hadoop 2.0中被引入，作为资源管理系统，负责管理和调度Hadoop集群中的资源。YARN的设计目标是比原始的Hadoop MapReduce系统更加灵活和通用，使其成为企业实现Hadoop的有吸引力的选择。YARN允许企业在同一集群上处理不同类型的数据，并运行各种数据处理引擎，例如Spark、Hive、Pig等。
YARN的一个关键特性是其能够处理多种类型的工作负载。这是通过两个关键组件实现的：资源管理器（Resource Manager）和节点管理器（Node Manager）。资源管理器负责为不同应用程序分配资源，而节点管理器负责管理集群中单个节点上的资源。
YARN有许多应用和用例，包括批处理、交互式SQL、实时流处理、机器学习、图处理、长期运行服务和大数据处理。
将对YARN有一个基本的介绍。然后，将了解使用它的优缺点。讨论应用和用例。理解YARN和MapReduce之间的关键区别。最后，将通过各种编码和实践示例进行实际操作。
使用YARN对于广泛的系统有许多好处，但它也有许多缺点。以下是一些优缺点。
改进的资源隔离和管理：它提供了更好的资源隔离和管理，这可以提高集群的稳定性和性能。
灵活性：它能够处理多种类型的工作负载，这使得公司能够在相同的工作上运行不同类型的应用程序，从而提高资源消耗和节省成本。
支持多种计算机应用程序：它支持许多分布式计算应用程序，包括批处理、交互式SQL、实时流处理和机器学习。
可扩展性：它能够动态地扩展和缩减集群，使组织能够适应变化的工作负载。
滚动升级：它支持滚动升级，这使得公司能够在不中断服务的情况下提高工作效率。
多版本支持：它允许组织在同一集群上运行Hadoop的多个版本。
复杂性：它的设置和配置可能很复杂，需要很好地理解集群设置和配置才能充分利用其能力。
对旧版应用程序的支持有限：它只支持一些为原始Hadoop MapReduce系统构建的旧版应用程序。
资源分配：其资源分配算法有时可能对特定工作负载不是最优的。
资源分配公平性：其资源分配算法有时可能对不同应用程序和用户不公平。
YARN有许多应用和用例，对当前的技术巨头非常有益。以下是一些讨论。
YARN可以启用批处理作业，例如数据仓库和ETL（提取、转换、加载）。这使得组织能够高效且成本有效地处理大量数据。
YARN可以运行大型数据集上的交互式SQL查询。这使得组织能够进行实时分析并从数据中获得洞察。
YARN可以处理实时流数据，例如日志数据、传感器数据和社交媒体数据。这使得组织能够获得洞察并在近实时内做出决策。
YARN可以用来在大型数据集上分配机器学习算法。这使得组织能够构建和训练各种应用的模型，例如图像和语音识别、自然语言处理和预测分析。
YARN可以处理图数据，如社交网络和推荐系统。这使得组织能够分析数据内的关系和连接。
YARN可以分配长期运行的服务，如Web服务和数据管道。这使得组织能够以可扩展和容错的方式部署和管理这些服务。
YARN使得不同的数据处理引擎能够在同一集群上运行。这使得组织能够使用工具如Spark、Hive、Pig等处理结构化、半结构化和非结构化数据。
本节将讨论YARN和MapReduce之间的区别。
1. YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，它在Hadoop 2.0中被引入。
2. YARN负责管理Hadoop集群中的资源，如CPU和内存，并调度任务以执行这些资源。
3. YARN具有集中式架构，允许更好的可扩展性和资源管理，而MapReduce具有更分散的架构。它在资源分配和使用方面提供了更多的灵活性。
4. YARN允许实时处理数据流，而MapReduce主要用于批量处理数据。它还允许更好的集群利用率和提高性能。
1. MapReduce是用于并行处理大型数据集的编程模型和软件框架。
2. MapReduce负责处理数据并生成结果。
3. MapReduce在资源分配和使用方面更为僵化。
4. MapReduce有时可能导致资源利用不足和性能降低。
本节将讨论一些初学者容易理解的基本示例，例如使用YARN和MapReduce运行简单的词频统计作业，或使用YARN运行Pig脚本。
$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/text.txt /output/wordcount
在这个示例中，使用Hadoop自带的词频统计示例作业。传递两个参数，输入文件/input/text.txt和输出目录/output/wordcount，作业结果将存储在这里。这个作业将统计输入文本文件中每个词的出现次数，并将结果写入输出目录。
$ pig -x yarn -f /path/to/pig/script.pig
在这个示例中，使用Pig命令行界面在YARN集群上运行位于“/path/to/pig/script.pig”的Pig脚本。“-x yarn”选项告诉Pig使用YARN作为执行模式。这可以用于运行执行数据处理、数据清洗和数据转换任务的Pig脚本。
$ hive -e "SELECT * FROM mytable LIMIT 10"
在这个示例中，使用Hive命令行界面在名为“mytable”的表上运行类似SQL的查询。查询选择表中的所有列和行，并返回前十行。查询的结果将打印在控制台上。这可以用于交互式数据查询和探索。
$ spark-submit --class org.example.MySparkJob --master yarn --deploy-mode client --executor-memory 512m --num-executors 10 /path/to/jar/my-spark-job.jar arg1 arg2
在这个示例中，使用Spark命令行界面提交一个名为“MySparkJob”的Spark作业，该作业打包在位于“/path/to/jar/my-spark-job.jar”的jar文件中。作业传递两个参数，“arg1”和“arg2”，传递给主方法。“--master yarn”选项告诉Spark使用YARN作为集群管理器。“--deploy-mode client”意味着Spark在客户端机器上运行驱动程序，“--executor-memory 512m”和“--num-executors 10”用于配置每个执行器的内存量和执行器的数量。