`

oozie: Workflow

 
阅读更多

Workflow Definition

A workflow definition is a DAG with control flow nodes (start, end, decision, fork, join, kill) or action nodes (map-reduce, pig, etc.), nodes are connected by transitions arrows.

The workflow definition language is XML based and it is called hPDL (Hadoop Process Definition Language).

Oozie does not support cycles in workflow definitions, workflow definitions must be a strict DAG.

Workflow Nodes

Workflow nodes are classified in control flow nodes and action nodes:

  • Control flow nodes: nodes that control the start and end of the workflow and workflow job execution path.
  • Action nodes: nodes that trigger the execution of a computation/processing task.

Node names and transitions must be conform to the following pattern =[a-zA-Z][\-_a-zA-Z0-0]*=, of up to 20 characters long.

 

 

 

 

 

 

 

 

 

Reference

https://oozie.apache.org/docs/4.0.1/WorkflowFunctionalSpec.html

  • 大小: 145.3 KB
分享到:
评论

相关推荐

    oozie workflow

    权威的官方翻译编写整理,少有的比较全的中文资料,可以根据cloudera大数据平台的使用

    oozie-to-airflow:Oozie从Workflow到Airflow DAG的迁移工具

    Oozie自气流 一种在工作流程和工作流程之间轻松转换的工具。 该程序的目标是Apache Airflow> = 1.10和Apache Oozie 1.0 XML模式。 如果您想为该项目做出贡献,请查看目录背景Apache Airflow是由AirBnB在2014年开发的...

    Apache Oozie_ The Workflow Scheduler for Hadoop

    Apache Oozie_ The Workflow Scheduler for Hadoop ,主要介绍oozie的使用

    Apache Ooize Workflow Scheduler for Hadoop

    apache oozie workflow scheduler for hadoop

    oozie-workflow-checker:验证复杂的Apache Oozie Hadoop工作流程-开源

    库验证了复杂的Oozie工作流程(http://oozie.apache.org/)。 两种使用方案:1)使用指定的参数执行工作流程,结果得到传递的节点的列表。 注意:在所有工作流程函数中,现在仅支持“ wf:conf”。 2)检查被调用的...

    oozie-workflow-generator

    oozie 工作流生成器

    Oozie安装部署及任务定义说明

    Oozie 部署 1 1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3:修改workflow.xml 9 4:执行oozie客户端命令执行mapreduce 10 配置oozie...

    Oozie - The Workflow Scheduler for Hadoop

    oozie 权威图书。pdf原版 2015-05-08: First Release Mohammad Kamrul Islam & Aravind Srinivasan

    oozie_workflow_status_check:Nagios 插件 - 专为 Hortonworks 数据平台 2.1 设计

    ###Hortonworks 数据平台 2.1 Nagios 插件 - Oozie 工作流状态 此插件将识别和提醒 Oozie 工作流的状态。 ###News 更新了 HDP 2.1 Nagios 集成。 此插件现在仅报告过去满足管理员指定时间范围标准的固定数量的作业...

    oozie.py:使用DSL而不是处理XML生成Oozie配置

    目标这样做的目的是拥有一个更清洁的,非DSL的xml来为oozie生成协调...) a_job = workflow.Workflow("fooer") a_coordinator = coordinators.Coordinator("blah", jerb, 1440) a_job.add(actions.ShellAction(name="fi

    coordinator设置定时任务

    使用oozie配置workflow,在coordinator上设置定时任务。

    OozieWorkflow

    Oozie管道可自动将数据下载和提取到配置单元表 动作1-执行脚本bash,该脚本将下载和存储昨天的数据。 安排作业每天运行。 行动2-将数据存储在HDFS的分区目录中 行动3-在HDFS中创建指向上述分区的外部Hive表covid_...

    oozie shell action 例子

    提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功

    尚硅谷大数据技术之Oozie1

    第 2 章 Oozie 的功能模块介绍2.1 模块顺序执行流程节点,支持 fork(分支多个节点),join(合并多个节点为一个)定时触发 workflow绑定

    oozie-impala-action

    Oozie Impala 动作 这大量借鉴了。 使用说明 命令行界面 要在命令行上使用,请执行以下操作 - $ git clone <> $ cd <> $ mvn clean package $ cat > sample.sql <...参考run-oozie/workflow.xml的例子

    java连接sqoop源码-Credit-Card-Management-System:一个数据工程项目,旨在创建从MySql数据库到Hado

    java连接sqoop源码信用卡管理系统 Credit_Card_Management_System 是一个基于 Java 的程序,它可以显示信用卡交易列表并通过 JDBC 驱动程序从 ...oozie_workflow_optimized sqoop_jobs(优化) java-json.jar

    oozieloop:Oozie 中的循环

    该项目通过提供一个工作流来帮助您在 Oozie 中实现循环,该工作流将为您提供的范围内的每个整数或您提供的值列表中的每个条目调用您的工作流。 工作流的执行可以按范围或列表的串行顺序执行,也可以并行执行。 您...

    Oozie的使用

    文章目录1.Oozie调度shell脚本1.1解压官方案例模板1.2创建工作目录1.3拷贝任务模板到oozie-apps1.4编写脚本p1.sh1.5修改配置文件1.5.1job.properties1.5.2workflow.xml1.6上传任务到hdfs1.7执行任务2.Oozie逻辑调度...

    大数据视频_Oozie视频教程

    Oozie是大数据生态圈中一个基于工作流的任务调度工具,也是大数据工程师的一个常用工具。在本课程中,你将学习到,Oozie的原理、安装配置、使用Oozie实现调度Shell脚本、逻辑调度多个Shell脚本、直接调度MapReduce...

    新版全面系统完整的Oozie教程

    Oozie是大数据生态圈中一个基于工作流的任务调度工具,也是大数据工程师的一个常用工具。 在本课程中,你将学习到Oozie的原理、 安装配置、使用Oozie实现调度Shell脚本、 逻辑调度多个Shell脚本、 直接调度MapReduce...

Global site tag (gtag.js) - Google Analytics