合作机构:阿里云 / 腾讯云 / 亚马逊云 / DreamHost / NameSilo / INWX / GODADDY / 百度统计
随着每家公司,无论大小或行业,越来越多地由数据驱动,糟糕的数据质量正成为巨大的威胁,毕竟,基于错误数据做出的决定可能会产生重大的破坏性影响,那么,在工具比以往任何时候都多的情况下,为什么良好的数据质量仍然如此难以实现?对于一些人来说,随着他们使用的数据量以及他们的数据可以采用的不同形式的复杂性和数量的增加,他们甚至可能会觉得数据质量变得更加难以实现。考虑到这一点,你如何才能扭转局面,拥有可信赖的高质量数据,从而做出可靠准确的业务决策?
要开始纠正数据质量问题,你需要能够识别何时使用了错误数据,有时,这很简单,对于许多公司来说,如果你在使用错误的数据,你知道这一点,然而,在其他时候,有一些更微妙的迹象能够让糟糕的数据质量持续多年,同时慢慢地损害你对决策的信心。在评估数据时,我会寻找表明数据质量受到影响的四个重要症状。
错误和不一致:这一症状是明确的。当你看到错误时,你知道你的数据质量很差,具有冲突或矛盾信息、错误(如错误的日期或无意义的值)、重复记录以及异常高或低值的记录,这些可能会扭曲分析和报告,并对你的数据信心产生负面影响。
整合多个来源的问题:当你需要帮助整合来自多个来源的数据时,不连贯的结果会使你很难从整体上获得清晰、全面的数据视图,例如,如果数据是完整的,并且关键信息包括在数据集中,则可以执行有意义的分析或回答基本问题,或者,可能不同的数据源之间存在差异,并且因为你的集成系统无效,所以不会标记存在错误和不匹配。
用户和客户反馈乏善可陈:有时候,你的数据质量不佳的主要指标是别人的直接反馈,用户或利益相关者可能会报告他们正在处理的数据存在差异或问题,例如计算不正确或意外结果,这可能会削弱对决策过程的信任。假设客户或客户抱怨与数据相关的问题或报告或服务中的差异,在这种情况下,这是另一个有问题的数据的强烈信号,也是一个迹象,表明你还需要采取一些损害控制措施来重建这种关系。
频繁的数据清理:我寻找的最后一个症状是频繁的数据清理,公司有时会惊讶地发现这是一个问题,他们可能认为他们的数据质量很好,正是因为他们非常认真地对待数据清理。实际上,需要花费大量时间清理数据意味着数据在传入时容易出错,数据清理工作一致性的任何下降都意味着这些错误可能会通过并开始影响数据质量。
既然你已经认识到了一些数据质量不佳的迹象,是时候找出如何解决这个问题的方法了。一般来说,我建议采取三管齐下的方法来纠正当前的数据质量问题,并确保你长期使用高质量的数据。
在质量检查时赋予资产权重:我们拥有的每一项资产都需要进行质量检查,但只有部分资产应该具有同等的权重。总体来说,我的平台质量得分是95%。当我深入研究时,我发现在多个职能领域、管理、人力资源和供应商方面得分很高,但销售部门的质量得分为60%,这是一个巨大的问题,销售数据不准确直接影响到公司成功完成交易和创造收入的能力。现在,想象一下,你看到所有领域的质量分数都很高,但人力资源领域的得分为60%,这并不理想,但人力资源的低数据质量得分并不会像销售得分低那样产生广泛的影响。
我经常看到公司在进行数据质量检查时不使用权重,这样可以最大限度地减少严重问题,而对次要问题给予过高的重要性。通过将不同的资产分类为域和功能域,并为每个域分配权重,公司可以实施更全面的方法来评估数据质量,并获得真正的数据质量分数。
调整你的数据治理流程:几乎每家公司都有某种类型的数据治理流程,但只有一些公司随着他们使用的技术和数据的发展而不断调整这些流程。用于数据收集、存储和分析的新工具和平台正在不断开发。随着新的数据源的出现,我们也看到数据格式发生变化,数据量增加,我们接收数据的速度加快。
严格遵守数据治理规则是不明智的,甚至是不可能的。定期更新数据治理流程将确保你的公司与当前数据格局保持一致,在保持数据安全性和质量的同时适应新的数据源和技术。
使用内置了数据质量更好流程的系统:数据驱动的决策依赖于准确可靠的数据。有时,无论投入多少工作,你当前的工具生态系统都无法为你提供此类数据,这可能是因为系统缺乏集成,也可能是因为不同工具之间的数据质量标准不同,这些都是必须纠正的基本问题,才能开始提高数据质量。
幸运的是,你的系统不需要从头开始。我建议探索使用数据产品的可能性,通过实施数据质量自动化软件、提供强大的数据谱系和建立数据治理策略来促进信任,这些附加工具充当数据摄取、统一、结构化、清理、验证、转换和加载数据的单一平台,这确保了更全面、更准确的数据集,并具有持续的高数据质量。
当企业的数据出错时,没有简单的方法来指导企业。随着数据规模的显著增长,人们可能会觉得真正的数据质量几乎不可能实现,然而,通过意识到劣质数据的症状,企业可以迅速采取行动并解决更深层次的问题,使它们重新走上高质量数据的道路,并增强决策信心。
TOP