·综合分析：CRM系统数据质量管理方案

任何一间企业，在部署CRM（客户关系管理）系统之后，通常都是希望借助这一系统的商业智能优势，通过对数据的分析处理，来获取隐含在数据中的更有商业价值的知识，以此来指导企业开展下一阶段的工作。在这篇文章里，主要从三个层次分析CRM系统数据质量管理方面的研究。

CRM系统中数据质量问题分析

　　CRM的主要功能是通过对大量的客户资料进行深入的分析，来实现缩短销售周期，降低销售成本，提高客户忠诚度和保有率等商业目标。但数据质量的优劣往往是决定一个CRM系统成败的关键 。

　　不管数据的优劣与否，都可以是来自多方面，就劣质的数据而言，通过分析，其原因主要有以下几种：

　　 缺乏验证程序。很多系统没有在初期就对用户的输入等过程提供完整的验证程序，导致误输入等因素对数据质量造成一定影响。

　　 数据格式有效但不正确。往往有些看似有效的数据，但却是错误的。

　　 系统更新。在原系统发生结构性变化时，如果管理员新增加了一个字段或下拉值，但是没有及时通知相关的系统工程师，就会导致一线员工继续使用旧的字段或下拉值去匹配新的信息类型。

　　 系统接口过多。

　　 缺乏参照完整性检查。

　　 不匹配的规则和定义。

　　 维度渐变。随着时间的推移而可能发生改变的维度，也在某种程度上影响着数据质量。等等。

　　可以看出，数据质量受到来自多方面的影响，并且随着公司业务集成到网站中，并允许客户和经销商直接操作数据，而更加与日俱增，所以，制定一套行之有效的管理方案至关重要。

数据质量管理方案

　　DEMING W.E在其质量管理的十四要点中指出：“质量不能仅依赖于产品的检验，检验不能创造价值，只能将次品挑出来。”根据实际工作情况来看，往往当我们检查出脏数据的时候，它已经大量的存在于数据库中了，检查的成本高而效益低。因此，从一开始就要将质量融入到数据中，以降低脏数据的发生率，采用事前预防的方法就显得尤为重要。

　　在实际项目中，将数据质量的控制在宏观上划分为了三个阶段。（但因为第三阶段属于数据挖掘范畴，是在建立了准确，完整的数据库基础上实现的，暂不属于本文讨论的范畴，所以第一阶段和第二阶段的实施是我们需要重点关注的阶段。）

　　第一阶段：数据质量规划。完整的信息架构在数据质量管理中占据着重要的位置，这个架构一定是针对业务规则建立的，且能够灵活应对将来可能出现的业务规则或数据流变更。

　　所谓的信息，也就是数据和知识。其实信息架构的工作在本质上就是将一些数据转化为我们可以直观的理解的知识，或者将我们获得的知识转化为数据，一边可以传递，再利用。它应当是兼具两者的设计过程。大致可包含三件工作：一是架构设计。首先我们要确定系统中信息的单元的大小，并决定这些单元之间的关系；二是组织方式。将这些组件组合成有意义的，具有特色的类别。也称为逻辑分类；三是标记。将上一步得到的分类用一个唯一的标签来命名。

　　设计过程的初期要通过有引导性的客户调研工作理解用户需求，寻找分类的趋势，完成信息架构UML图的初稿，这里应该进行至少两次的分别从上到下和从下到上的梳理过程。之后就是情景模拟的测试过程，并且要让用户也参与进来，否则这个测试过程就失去了其本身的意义。企业的信息化过程中要引入数据质量管理平台，以管理企业数据流，并成为企业各个子系统数据交互的中心，同时在各个层次上对数据质量进行监控和管理，以建立统一的企业数据模型，形成企业统一的视图。

　　信息的安全性管理不但包括我们熟知的密码管理，用户权限分配，服务器端防火墙的设置等网络安全工作，还应特别注意外部数据的来源，是否为可信数据，数据质量是否符合系统的标准，此处要对导入程序做严格的检查，宁肯放弃一部分数据也不能导入潜在的脏数据或无效数据。

　　第二阶段：数据质量控制。设计质量，也就是我们上面所说的质量规划阶段，它的目的主要是要收集质量需求并将它们转换为一套标准来执行。接下来的执行过程中，就存在着数据质量控制的问题。其实在上面一节我们已经讲过当前常用的评价数据质量的观察点，在本项目中，宏观上可从可信性、及时性和可用性这三个方面来看。

　　检测数据可信性的一系列规则都是要基于依赖性和现实世界的一致性的。他们可以用于定义数据的语义约束;区分静态，暂时的，或是动态的约束;并且可以指定属性、原则、关系或是整个数据库。所有这些类型的约束都是在假设数据的某些性质不依时间的变化而变化为基础上提出的，以便提供一个稳定的数据集用来与其他数据作对比。

　　测量数据的质量，特别是可信性、及时性、可解释性和有效性的潜在方法。

　　验证生产数据的可信度要制订也就是包括单变量特征也包括多变量特征的检查规则。对于某些字段，它有可能同时存在多种约束条件，这些检查的规则要在数据结构确立后就明确。而这里还应重点考虑的一项工作是重复数据的检查。

　　结合项目中的实际情况来说，重复数据可以归为两类：一是在数据库中已经存在重复的记录，所以要将这些冗余的数据清除，或是归档；而另一类是根据业务规则需要清洗，但是并不违反数据库的逻辑规则。如某些呼叫中心规定一个时间段内不能跟同一客户联系超过2次。这就要求数据库操作人员在获取客户名单时，要做2次查重，以满足上述条件。

　　数据流的控制是另一个重要因素。一些企业的CRM系统的数据流的来源和去向往往比较复杂。任何环节发现了脏数据先不要急于去做数据清洗，应该顺着数据流去寻找源头，在确定从根本上修复了程序后再开始数据清洗工作。

　　总结上述分析，数据质量是一种通过度量和改善数据综合特征从而优化数据价值的过程，质量标准要客观的附加在主观的方法和建议之上，从而保证生产数据的质量。由法国等4国研究机构联合立项的研究项目对在元数据层中嵌入质量管理模型已经取得了一定的进展。不但这样，关于数据仓库的质量管理问题也在对数据抽取，装载，存储等关键步骤进行研究。不难看出，数据质量问题正越来越受到广大企业的广泛关注。

结论

　　概括而言，在项目的整个生命周期内，应该有这样一套完整的管理方案：

　　 启动数据质量管理计划。该计划要建立并保持数据定义和业务规则的一致性，并且只有一个版本，这样还可以节省未来开发新程序和寻找相关数据的时间。

　　 制定项目计划。这一计划中要清晰的定义适用范围，制定目标，估算投资回报率，差值分析，预估以及监控实施效果。为了实现上述的目标，开发团队需要做相应的数据挖掘工作事先评估现状，确立修复方案并建立方案监测数据的一致性。

　　 再次审视业务流程和数据架构。

　　 评估数据质量。在重新审视信息流和数据结构之后，企业需要对重点业务区域的数据质量进行全面的评估。目的是找出数据普遍存在的缺陷，建立测试模型来检测他们是如何进入数据仓库或其他系统的，制定清洗规则或给出合理的修复方案。

　　 改善业务流程。正如前面所说，防止脏数据的出现涉及到转变管理态度，优化业务流程等诸多因素。

　　 坚持不懈的监测数据。如果没有持续的数据质量的监控的话，则我们之前做的所有工作都将是徒劳。