美团智能数据标准化

美团智能数据标准化

数据开发2022年11月-2023年01月
店铺头像
吴先生-北京
案例介绍

背景:

(1)、数据质量问题频发;一致性问题、时效性、准确性时有发生,业务满意度低,带来团队信任危机;

(2)、数据建设比较散点,过于原子化,不体系;数据易用性差,分析师以及产运做日常分析时,经常需要关联七八个表才能得到想要的分析数据;

(3)、数据规范不统一,多套规范并行;带来维护成本,以及沟通成本都非常高;

目标:

        统一数据建设规范;

        提高数据易用性;

        提高数据质量,让数据质量问题进行收敛

行动:

(1)、数据规范调研、评审、达成最终一致性,并收录到建模工具里,通过工具进行规范性约束,确保新规范落地效果

        (2)、数据架构升级,进行合理的分层分域

(3)、推动数据专项治理,进行数据质量、数据安全专项治理

(4)、优化资产运营流程(资产运营全链路来说的话,主要包括看、选、用、治、评五大块),释放数据价值

比如建设数据门户,提高找数效率;通过热度、收藏等来推荐使用哪个;对使用的模型可以进行评论,将评论推送给对应的owner;

结果:

(1)、通过智能化方式(智能体现在表名自动生成、代码逻辑自动生成、一处修改全部生效、模型自动选择性能更高的模型表加工)推动了存量80%左右的模型向新规范、以及新架构迁移;

(2)、通过体系化建设,提高了数据易用性,分析师以及产运从之前需要关联七八个表,到现在只需要关联几个表就可以输出想要的结果;

(3)、数据质量问题发生频次减少,明显收敛,由之前每个月都会出现多起质量问题到现在偶尔会出现一次,甚至不会出现,呈现明显的下降趋势;

(4)、提高了分析师、产研以及产运等相关方的工作效率;比如找数更有章法,之前分析师以及产运靠“猜”以及问对应的RD同学来寻找到通过“数据门户”自助找数, RD在“找表”这块答疑大幅减少,由之前每天都有三四次询问到现在一周偶尔有一两次询问;