在linux系统中，hadoop作业调度可以通过以下方式进行实现：
1. 利用YARN ResourceManager进行调度
YARN（Yet Another Resource Negotiator）作为Hadoop的资源管理层，负责集群资源的分配与任务调度。其核心组件包括：
- ResourceManager：用于管理整个集群的资源。
- NodeManager：负责单个节点上的资源管理和任务执行。
ResourceManager通过调度器来决定哪个应用可以使用资源。常见的调度器包括：
- FIFO Scheduler：按照作业提交顺序进行调度。
- Capacity Scheduler：支持多租户环境，为不同队列分配不同的资源容量。
- Fair Scheduler：力求为所有应用提供公平的资源分配。
2. 使用Apache Oozie进行作业调度
Oozie是一个工作流调度系统，可用于管理和调度Hadoop作业。它支持多种类型的工作流：
- Workflow：定义一系列步骤，每个步骤可为Hadoop作业或其他任务。
- Coordinator：根据时间或数据可用性触发工作流。
- Bundle Job：将多个协调器和工作流打包成一个作业。
3. 使用Apache Airflow进行流程编排
Airflow是一个用于编排、调度和监控工作流的平台。虽然不是Hadoop原生工具，但可通过DAG（有向无环图）与Hadoop集成，实现作业调度。
4. 利用Cron定时任务
对于简单的周期性任务，可使用Linux的Cron作业调度Hadoop命令。例如，在Crontab中添加如下行以每天运行一次Hadoop作业：
0 0 * * * /usr/bin/hadoop jar /path/to/your-job.jar com.example.YourJob
5. 使用Hadoop自带脚本
Hadoop提供了一些命令行工具如hadoop job，可用于提交和管理作业。这些工具可与Shell脚本结合使用，实现更复杂的调度逻辑。
示例：配置Capacity Scheduler
以下是如何在Hadoop集群中使用Capacity Scheduler的简单示例：
-
配置Capacity Scheduler： 修改capacity-scheduler.xml文件，设置队列及资源分配：
yarn.scheduler.capacity.root.queues queueA,queueB yarn.scheduler.capacity.root.queueA.capacity 50 yarn.scheduler.capacity.root.queueB.capacity 50 -
提交作业到指定队列： 使用yarn jar命令并指定队列名称：
yarn jar /path/to/your-job.jar com.example.YourJob -Dmapreduce.job.queuename=queueA
通过上述方式，可以在Linux环境下实现Hadoop作业的有效调度与管理。具体选择哪种方法应根据实际需求和集群环境而定。
