官方网站链接:https://oozie.apache.org/
简介
Oozie是一个用来管理Hadoop任务的工作流引擎,基于有向无环图(DAG)来定义和描述,支持多种工作流模式及流程定时触发机制。易扩展、易维护、可靠性高,与Hadoop生态系统各组件紧密结合。
Oozie流程包含三种类型:Workflow(描述一个完整业务的基本流程),Coordinator(Coordinator流程构建在Workflow流程之上,实现了对Workflow流程的定时触发、按条件触发功能),Bundle(Bundle流程构建在Coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能)。
应用场景
Oozie作为一个工作流调度系统,它能够管理逻辑复杂的多个Hadoop作业,按照指定的顺序将其协同运行起来,最终生成一个工作流实例。支持为该流程实例设置计划安排,如每天定时运行等。
功能特性
1. 支持分发、聚合、选择等工作流流程模式。
2. 与Hadoop生态系统各组件紧密结合,支持StreamingMR、Pig、HDFS Jobs等。
3. 流程变量支持参数化。
系统内嵌默认使用jsp表达式语言对动作进行参数化,参数包括工作流名字、动作名称、开始时间等。
4. 支持流程定时触发。
任务工作流程支持数据和时间触发。用户可以指定执行的频率,可以等待数据的到来触发工作流程中的行动。
5. 提供HA机制。
6. 提供可视化界面,支持流程查看、流程监控、日志查看等功能。