九州体育集成平台(Know DataIntergration),是一款通用的数据采集、治理/数据处理软件,解决对数据湖获取、治理、感知和技术支持等诸多问题。
通过友好GUI界面,业务人员可以按照他们关心的方式来操作数据,包括: 创建数据源、定义数据加载、数据预处理、转换,发布到目标系统。因为不需要部署任何代码,也不需要依赖IT部门,业务人员做到了对项目的完全掌控,从而极大的减少项目所需的时间。
用户通过世通数据集成平台可以建立和管理数据模型,建立和管理数据源,建立和管理主数据,设计 ETL 流程以从各种数据源中抽取数据、转换/清洗数据、把数据加载到数据仓库或数据中心,调度和监控 ETL作业的运行状态,将 ETL作业通过 HA 集群分布到不同的 ETL服务器上运行。
世通数据集成平台除了支持各种常见的数据库如 Oracle、 DB2、 MySQL 等,还支持各种平面文件,另外支持 Hadoop、 HBase、 MongoDB 等 NoSQL 数据源。世通数据集成平台内置了百余种转换插件,开发人员通过流程图式的设计方式就可以快速开发数据处理程序,使开发人员专注于业务逻辑,而不用深入到一些技术细节上。
功能包括:
前端交互引擎
交互引擎作为集成平台与九州体育基础平台的接口
数据管道引擎
移植与改造该模块作为平台的数据集成管道
工作流引擎
调用九州体育基础平台工作流引擎
安全管理
调用基于九州体育基础平台3A框架
元数据管理
调用九州体育基础平台数据治理框架
调用数据集成平台元数据管理引擎