Oozie
发布人:张子卓  发布时间:2019-12-12   浏览次数:580

官方网站链接:https://oozie.apache.org/

简介

Oozie是一个用来管理Hadoop任务的工作流引擎,基于有向无环图(DAG)来定义和描述,支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高,与Hadoop生态系统各组件紧密结合。

Oozie流程包含三种类型:Workflow(描述一个完整业务的基本流程),CoordinatorCoordinator流程构建在Workflow流程之上,实现了对Workflow流程的定时触发、按条件触发功能),BundleBundle流程构建在Coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能)。

应用场景

Oozie作为一个工作流调度系统,它能够管理逻辑复杂的多个Hadoop作业,按照指定的顺序将其协同运行起来,最终生成一个工作流实例。支持为该流程实例设置计划安排,如每天定时运行等。

功能特性

1.        支持分发、聚合、选择等工作流流程模式。

2. Hadoop生态系统各组件紧密结合,支持StreamingMRPigHDFS Jobs等。

3. 流程变量支持参数化。

系统内嵌默认使用jsp表达式语言对动作进行参数化,参数包括工作流名字、动作名称、开始时间等。

4. 支持流程定时触发。

任务工作流程支持数据和时间触发。用户可以指定执行的频率,可以等待数据的到来触发工作流程中的行动。

5. 提供HA机制。

6. 提供可视化界面,支持流程查看、流程监控、日志查看等功能。


 
copyright@2022长安大学 | 高性能计算平台