人工智能 | 数据治理服务-数据集成篇

本次数据治理服务需要整合的数据资源为16个子系统，都属于数据库性质，数据库类型包括MySQL和Oracle。数据在法定工作日的8:00-17:00时间段实时更新，每日数据新增量在300万条左右。技术人员根据调研的数据情况以及客户业务需求，结合各ETL工具以及数据库的优势，综合评估了多个数据抽取工具，如Apache　Flink、Apache、SeaTunnel、DataX等，以及多个数据库，如MySQL、Apache Doris、Hadoop、Click House等，最终决定用同时支持高吞吐、低延迟、高性能的Apache　Flink作为本次数据集成的ETL工具，数据存储数据库则选择高性能、实时分析型的MPP 架构数据库Apache　Doris。

Flink：
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架，是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算，被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 Doris： Apache Doris 是一个基于MPP的现代化、高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 在多维报表、用户画像、即席查询、实时大屏等诸多业务领域都能得到很好应用。