个人信息保护法的实施让企业对个人数据的管理治理充满了挑战和压力。尤其在金融行业,不少企业因为违反数据治理规定而被罚款,这使得企业管理者对数据处理问题越发重视。
根据KPMG的报告,银保监会和人民银行曾对各家银行保险数据报送进行罚款,累计罚款金额高达10亿5000万,其中一张最高罚单达1亿1450万。这些罚单主要是因为企业在数据质量、数据合规以及未按规定报送方面存在问题。
可见,数据质量成为当前金融行业中最突出的问题。 那么,监管机构要求的数据内容报送难在哪里?数据治理又是什么?
在企业报送流程中,常常涉及到商业智能(BI)报表。这些报表通常包含了一系列销售汇总数据,比如每年、每季度、每月的销售数据,以及同比增长等信息。这些报表背后往往对应着一个或多个数据库中的数据表,这些数据以表的形式存储在系统中。
除了数据存储外,企业还需要对数据进行清洗、丰富、质量控制和匹配等处理。这些数据来自各个部门,比如交易数据可能来自前端的联机事务处理数据库(OLTP),也可能来自上游部门的其他系统,或者与第三方进行数据交换。整个数据处理过程可以分为数据原层、分析存储层和数据消费层三个典型层次。
为了满足不同功能的需求,企业采用了各种不同的应用程序。例如,在数据源层,需要与不同的数据源进行数据交换;在分析存储层,需要进行数据建模、数据质量修正和数据清洗等准备工作;在数据消费层,除了日常的业务运营报表外,还需要进行数据创新和数据科学等高阶分析。
一条数据经过这些环节的处理后,才能被贡献到报表或计算模型中,发挥其价值。然而,在企业数据资产中,涉及到多部门、多系统、多技术的情况下,要找到需要的数据变得异常困难。
此外,技术的不断发展也使得企业的数据布局更加复杂。从早期的大型机到关系型数据库和数据仓库,再到近年来的大数据和云技术,各个时期的技术都可能出现在当前企业的数据资产中,进一步增加了数据治理的复杂性。
因此,在如此复杂的多部门、多系统、多技术的场景下,如何避免数据的盲目搜索,让企业能够在正确的时机做出全面的决策,就成为了企业数据治理的核心任务。