数据治理平台数据治理平台
产品介绍
  • 概述
  • 数据治理概览
  • 数仓规划
  • 数据标准管理
  • 数据模型管理
  • 元数据管理
  • 数据资产管理
  • 数据质量管理
  • 数据服务管理
  • 自助可视化分析
  • 数据安全管理
  • 数据源
  • 审批工单
  • 知识库
  • 系统管理
  • 任务调度
  • 安全管理
  • 平台API
  • 数据治理示例
  • 附录
  • 概述
  • 数据库部署
  • 应用部署(Fatjar)
  • 应用部署(Docker)
  • DolphinScheduler部署
  • Atlas部署
  • Kerberos
  • 概述
  • 实施工作流
  • 数仓分层
  • 数仓建模
  • 指标体系建模
  • 数仓技术架构
云数创智
产品介绍
  • 概述
  • 数据治理概览
  • 数仓规划
  • 数据标准管理
  • 数据模型管理
  • 元数据管理
  • 数据资产管理
  • 数据质量管理
  • 数据服务管理
  • 自助可视化分析
  • 数据安全管理
  • 数据源
  • 审批工单
  • 知识库
  • 系统管理
  • 任务调度
  • 安全管理
  • 平台API
  • 数据治理示例
  • 附录
  • 概述
  • 数据库部署
  • 应用部署(Fatjar)
  • 应用部署(Docker)
  • DolphinScheduler部署
  • Atlas部署
  • Kerberos
  • 概述
  • 实施工作流
  • 数仓分层
  • 数仓建模
  • 指标体系建模
  • 数仓技术架构
云数创智
  • 任务调度

    • 概述
    • 架构
    • 功能
    • 示例

架构

架构

MasterServer

MasterServer采用分布式无中心设计理念,MasterServer主要负责 DAG 任务切分、任务提交监控,并同时监听其它MasterServer和WorkerServer的健康状态。 MasterServer服务启动时向Zookeeper注册临时节点,通过监听Zookeeper临时节点变化来进行容错处理。

WorkerServer

WorkerServer也采用分布式无中心设计理念,WorkerServer主要负责任务的执行和提供日志服务。WorkerServer服务启动时向Zookeeper注册临时节点,并维持心跳。

ZooKeeper

ZooKeeper服务,系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。另外系统还基于ZooKeeper进行事件监听和分布式锁。

Task Queue

提供任务队列的操作,目前队列也是基于Zookeeper来实现。

Alert

提供告警相关接口,接口主要包括两种类型的告警数据的存储、查询和通知功能。

API

API接口层,主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。 接口包括工作流的创建、定义、查询、修改、发布、下线、手工启动、停止、暂停、恢复、从该节点开始执行等等。

UI

系统的前端页面,提供系统的各种可视化操作界面。

最近更新:: 2025/8/9 15:09
Contributors: yangxiaoming
Prev
概述
Next
功能