首页>五大产品族>Sm@rtCantor统一调度系统

Sm@rtCantor统一调度系统


  统一调度系统Sm@rtCantor是神州信息旗下企业神州数码融信软件有限公司(简称:神州数码融信)自主研发的、基于ETL领域,实现不同业务系统批量作业管理和作业调度管理的集中化和可视性的应用产品。可以帮助客户:

  . 实现跨平台、跨应用的作业调度自动化,减少人工干预,建立跨应用的作业依赖关系并实现其自动化运行;

  . 实现作业管理的集中化和规范化,能够将操作系统层面、应用层面和新技术层面的不同类型作业集中在单一的作业调度平台之中,并采用统一的作业定义和监控手段对作业进行有效管理;

  . 对所有作业进行集中化、规范化管理和自动化调度的基础上,作业调度管理平台能够和业务服务管理的其它组件紧密集成,将作业运行的事件和影响经过相应的处理告知事件管理系统,并把作业对业务服务的影响实时展现出来 。

   背景

  ETL是后台批量作业处理的重要技术手段,而调度不仅是后台处理中一个重要的概念,也是ETL中必不缺少的重要技术,它担任着后台众多批量处理程序的管理者和执行者角色。如今,各行业诸多系统开始ETL建设工作。在ETL框架下,建设者们通过各种各样的技术与手段搭建自己ETL体系,但就调度而言,不论采用什么技术,采用什么架构,有一个逻辑体系不变,即调度的本质就是各个批量任务的管理者、执行者。通过调度,众多的任务作业才能有序地展开工作,并协同完成庞大复杂的ETL处理,从而达到批量任务执行的有序执行和可视化监控。

   目标与价值

  神州数码融信系统Sm@rtCantor提供了统一的作业定义、调度规范和标准和可视化调度监控,可有效解决ETL作业中的规范化,流程设计可视化和异常处理简单化等问题:

  . ETL调度功能是每个系统不可缺少的功能,但是每个业务系统因为某种考虑,没能站在运维的角度来设计,从而导致配置复杂或是操作简单、控制力度不够,无法满足运维的个性化需求;

  . 不同的系统,调度实现方式各不相同,导致运维学习的成本增加,对运维人员的要求随之增加;

  . 涉及到不同系统间的作业依赖,需要修改原系统的调度,来支持此流程控制;

  . 由于各系统的作业不能统一调度,ETL的时间点与入口各不相同,带来人为误操作的可能性增加;

  . 操作复杂,作业监控不灵活,使得运维人员的运维压力增大;

  . 众多作业之间(包括跨系统间)作业链编排由于缺乏图形化灵活配置,导致控制无效或是增加额外的时间成本;

  . 异常日志不能够全面的反应有效信息,增加排错的难度,降低工作效率。

  . 实现作业调度管理的集中化和可视性;

  . 节约人力资源,调动积极性、解放生产力;

  . 提升自动化水平,从而提高效率,减少出错的概率;

  . 事件型自动触发方式避免了系统衔接时间的浪费,减少了整体作业运行时间;

  . 批处理影响及自动错误处理机制关注关键应用,减少了故障修复时间;

  . 采用统一的标准改造了原有应用,规范了新应用开发,使开发人员专注于核心业务处理程序;

  . 开发阶段即采用标准作业调度机制,减少了开发到生产的迁移时间和风险;

  . 灵活网络布局与插件式的任务类型扩展,真正实现了统一的作业调度。

   产品功能

  Sm@rtCantor核心调度功能是调度平台最核心,也是最基本功能,它决定了产品可以完成什么样的调度。

  - 串行调度

  串行调度即依赖调度,依赖调度是调度软件最基本的功能,它决定任务之间的执行顺序关系。如果A任务依赖B任务,A任务必须让B任务执行成功可以执行A。

  - 并行调度

  并行调度也是调度软件最基本的功能,它表示并行任务之间可以同时运行。

  - 互斥调度

  互斥调度是指两个任务不可以同时执行,A与B互斥,A执行时B不能执行,B执行时A不能执行。

  - 执行计划调度

  执行计划指时间执行计划,这在ETL处理中是尤为重要的,比如任务按日执行、按周执行、按月执行都是属于执行计划。

  - 容错策略调度

  错误任务自动处理是调度平台的一种容错机制。它决定调度后续方向;对于错误的任务有两种处理机制,一是自动在一定时间间隔后重跑,当达到用户定义的最大重复次数时任务都未成功,表示所有依赖该任务的相关任务都不能处理;二是可以根据用户定义,选择在任务出错时忽略错误,流程继续往下运行。

  - 断点续跑

  断点续跑指流程因任务失败被迫中断时,经过人工处理后,流程会自动从中断的地方继续往下运行。

  - 任务循环调度

  循环调度是指在一个批次处理时,我们可以根据用户定义循环次数实现对某个任务循环调度。

  - 条件分支调度

  条件分支类似程序设计时,根据某个判断,决定执行那个流程分支。

  - 远程任务调度

  远程任务调度是调度核心通过部署在远程代理对远程任务进行控制调度。它可以对部署在不同主机的任务通过统一流程进行统一管理并调度。

  - 负载均衡调度

  负载均衡指任务通过代理集群部署,调度可以分派任务到集群内相对空闲的主机, 从而达到调度对流程负载均衡处理的功能。

  - 异常提醒机制

  当任务失败,或是重要任务成功,或是任务有延时时,给相关人员发送短信与邮件进行及时提醒。

  - 节假日策略

  节假日顺延,不执行,或是提前执行。

  Sm@rtCantor平台本身具备完善的调度、管理、监控等功能体系,是一个独立的应用平台,同时也是一个开放的平台,具备很强的扩展性。在技术上我们主要通过一系列核心接口函数实现扩展。

  - 任务类型扩展

  Sm@rtCantor平台核心为了保证对诸如 datastage任务、Informatica任务、Kettle任务、各类存储过程、Java以及各种脚本语言任务等不同类型任务的支持的同时,又保证用户对不同类型任务的调度应用一致性,特地应用插件技术,不同任务类型对应不同的插件,由插件完成不同任务的异构驱动,而将统一的驱动接口任务程序名称、任务程序运行参数、任务程序运 行环境参数以及任务日志等通过核心并面向用户处理。

  - Java语言API扩展

  Sm@rtCantor提供基于Java语言的二次开发包,用户可以结合自身应用需求,分别在不同环境下开发适合项目的应用。

  Sm@rtCantor建立在公司多年来对该领域的深入研究、对市场各种产品分析比较以及不断对各种产品的优缺点总结的基础之上,从产品理念、技术选型到应用功能的结构组织,该产品已经非常成熟。

  在ETL调度领域,Sm@rtCantor产品优势并非只体现核心功能的完整性,在用户体验及应用简便性、完整性、专业性方面也有不错的表现,神州数码融信认为,核心功能的完整性与全面性是最基本要求,而良好的用户体验才可以让产品再上一个台阶。

  Sm@rtCantor亮点优势具体如下。

  - 直观的图形化作业监控

  采用图形拖拽的形式、简单直观的进行流程的维护与监控。

  - 核心灵活网络布局

  核心灵活部署目的是为了保证调度站在企业统一调度平台的角度,既能完成对一个或多个ETL服务器的有效控制以及负载均衡控制需求等,同时又能有效保证对这些ETL服务器进行结构清晰有效地管理。为了达到这一目的,神州数码融信充分吸取了目前顶级调度产品Control-M的经验,对调度核心通过调度Server节点、Agent节点进行分 层控制管理,从而实现灵活部署这一目的。

  . 最简部署:只需要一个EM节点与一个调度服务节点即可。

  . 多代理服务器部署:该模式是一种复杂部署,可以由调度服务器控制不同的代 理从而达到控制不同的 ETL 服务器。

  - 任务插件驱动机制

  Sm@rtCantor产品面对千差万别的技术任务类型采用统一的插件模式,不仅完善平台的灵活扩展体系,同时又统一了不同任务类型的调度应用场景。站在Sm@rtCantor的角度,不论是datastage、Informatica、还是存储过程、shell等不同任务,所有调度应用都是相同的,从而真正实现应用与技术的隔离。

  - 丰富的监控

  Sm@rtCantor提供不同角度的监控视图,满足从粗到细,从整体到局部的不同视图 。同时也包括服务器运行指标的监控,比如CPU、内存、I/O、磁盘空间以及数据库存储表空间等。

  - 分析统计

  提供多种维度的分析统计功能,包括从系统,模块,到具体作业的执行时间的分析,为优化作业单元提供依据等能在运维中提供方便的统计功能。

   客户案例

  国家开发银行、北京银行、成都银行、广东南粤银行、石嘴山银行、紫金农商银行、石狮农商银行等

   Q&A

  Q:批量作业的类型主要支持类型有哪些?

  A:该系统内置了多种作业类型执行的引擎,主要包括专业ETL工作流(如Informatica ETLWorkFlow、Kettle WorFlow等)、Oracle 存储过程、Shell Script、JavaClass以及CommandLine等。同时提供了相应的扩展API,以便支持更多类型的任务类型。另外,对于定时任务或者固定日期时点任务也是支持的。