返回目录：财经要闻
文章作者：神州信息金融大数据专家 陆晓
从客户画像构建到客户行为预测，从风险防控预判到优化业务模式，随着互联网思维和大数据技术在银行不断的深入，数据已经成为银行最重要的资产，实现对数据的有效利用已成为银行的核心竞争力之一。
2018年5月，银保监会正式发布《银行业金融机构数据治理指引》，明确高质量数据是提升银行经营管理效率和提升监管效能的基础，同时也指出银行业现阶段对数据的利用和治理还存在较多问题，主要表现在数据准确性和完成性欠缺，时效性和适用性不足。
引入外部数据的必要性
银行为什么要引入外部数据？2018年初，中国农业银行首次大批量引入司法、海关、网络舆情三大类外部数据到其信贷管理系统群，试图结合“大数据+AI”技术，在信用风险管控领域建立客户统一视图。
外部数据，很大程度上解决了银行数据获取来源片面、单一的问题。例如：在全面风险预测分析时，银行就很难通过自身的积累数据来实现。因此，银行往往会通过引入大量外部数据，实现内外部数据的结合，使碎片化、非结构化的数据成为可深挖、有价值的有效数据。
银行大数据——数据源三极
随着互联网思维和大数据技术在银行业的不断深入，外部数据的引进和利用逐渐被重视。部分银行已将外部数据作为重要资产，并尝试进行保值，发挥其潜在价值。然而，面对如此浩瀚且参差不齐、种类繁多的外部数据，多数银行束手无策。试想，如果没有很好的机制保证，银行就盲目、仓促地引入外部数据，不仅造成成本的浪费，还可能产生负面效果，无异于作茧自缚，得不偿失。
利用外部数据所面临的挑战
数据服务商提供的接口规范是不统一的，使用的技术也不尽相同（目前有通信协议、报文格式、报文方法等），而银行大多数是使用系统采集程序开发的方式进行API接入，两者接入的方式、方法、技术等各不相同。这直接导致银行在接入外部数据时会遇到各种麻烦：
1、各个系统自行接入，维护难度极大。一个系统可能会接入很多的外部数据，同样一个外部数据可能被不同系统多次的接入，这种网状接口，给银行IT管理和维护带来极大的难度。
2、技术实施难度大，工作量高。外部数据服务商提供的接口通信协议、报文格式、报文方式和认证机制等不尽相同，技术上的适配很难满足行内系统的相关规范，如果要实现的话，就需要对行内系统进行大量改造，工程量也就相应大幅提升。
3、数据难以落地，无法共享和二次使用。实际上，数据服务商是以API和接口的形式提供数据服务的，并不是将外部数据直接拷贝到银行本地的。因此，银行通过API的调用获取报文数据，无法直接“进入”行内系统的业务逻辑，是需要转发的。同时，如果所有数据均通过API访问的话，就无法再进行数据共享了。换句话说，这个共享源不在银行内部，从而使得数据无法二次利用。当然，不能共享和二次利用，必然会导致额外的访问费用和成本。
4、计费计量无依据。虽然计费方式有多种，但数据服务商多数仍通过访问次数来计量，而银行对于外部数据的接入多是无序的，不能集中化管理，因此无法度量访问次数，无法准确计算费用。
如何发挥外部数据最大价值？
一、建立有序合理的外部数据引入机制
如上这些问题，其根源在于没有建立合理的外部数据引入机制。那么，这个机制到底是什么呢？其实就是建立一个外部数据“流入”机制，方法如下：
1、将外部数据API以服务的形式整合到行内服务资源库中。当前，大多数银行都建立了企业级服务总线，进行了行内服务的梳理，而一个外部数据接口或者API，本身就是一个服务，我们只需要让其流入到行内资源服务库中，成为其中一个分子，这也完全符合面向服务的设计理念。因此这也叫做服务流入。
2、让外部数据能够落地，参与到数据计算和业务逻辑的计算中来。要想数据得到共享、二次利用，尤其是参与业务逻辑判断和计算中，必须将数据落地下来，变成结构化数据，并且与内部数据进行融合，能够形成一致的数据逻辑。因此这个也叫做数据流入。
外部数据引入机制，实际上就是服务流入和数据流入。我们都知道，在银行有两条高速公路，一条是服务总线即ESB，另一条是数据总线即DSB，外部数据流入机制就是把两者结合在一起。事实上，银行也非常重视这样的平台建设，例如有的银行规划了统一外部数据采集平台或者外部数据接口管理平台等，以此打造自己的数据ESB。
二、内外结合的数据整合处理机制
外部数据流入之后，要想进行更好的使用，必须进行外部数据的整合，且与内部数据进行有效融合。外部数据有三个最重要的特征，那就是离散度高、数据精确识别性差以及数据质量普遍性不高。因此，外部数据的整合也是至关重要的。
1、外部数据识别。银行对于数据要求是非常准确的，但是外部数据往往不够精确。如何识别这些外部数据，是外部数据整合和利用的前提。
2、外部数据质量。外部数据往往是离散的，数据关联度差、数据上下文缺失，缺少统一的数据规范和数据标准，这个原始数据很难与银行内部数据进行融合，达到使用的效果。
3、内外数据整合。很显然，如果外部的数据，不能很好的进行整合，形成干净、规范、一致的数据，数据价值是无法被挖掘的。
那如何进行数据的整合呢？其实就是对外部的数据加工和处理。首先，数据关联及识别。数据关联的核心是数据项的识别，也就是通过一定的信息能够识别出来这是哪个具体的、确切的客户信息和数据实体。通常，外部的最常见的关联项就是客户信息，因此对客户的一致性识别是外部数据关联和整合的基础。
其次，数据清洗与转换。数据清洗与转换是数据质量保证的重要措施，针对外部数据，为了保证其数据质量，往往有如下关键措施：
● 统一标准的码值转换
● 数据同类项的优先合并
● 数据格式的标准化处理
● 无价值干扰数据项剔除
最后，数据整合。在数据质量有所保障的前提下，实现外部数据项与数据项、数据实体与数据实体之前的关联，并且能够形成正确的数据视图。
我们处理银行内部数据时，这些数据关系是依赖于银行各个源系统或者业务逻辑来提供支撑的，即先有了数据实体关系和业务逻辑，自然就有了数据关系。但是外部数据就没有这么幸运，这些数据之间的关系需要我们去发现，寻出数据关系。当然，外部数据的整合也可以按照一定的领域主题或者特定应用主题进行数据整合，建立数据视图。除此之外，适当与银行内部数据进行关联与整合，就能形成更加完整的数据视图。比如针对客户信息，就能够形成客户360度视图。
三、基于场景的业务应用使用机制
引入外部数据的目的是发挥其价值，能够应用在银行业务环节中。针对外部数据的应用，人们往往首先想到的是获客、精准营销、风险识别等，这些都是外部数据使用的目的。对于银行业务来讲，脱离了银行内部数据、银行应用场景的外部数据应用都是不能发挥外部数据价值的，因此必须以应用场景为基础，来实现内外部数据结合。
如何实现呢？
1、批量数据挖掘。以银行内部数据为根本，以外部数据为补充，丰富数据项和信息纬度，利用多维建模和数据挖掘算法，发现数据价值。即便如此，所谓的数据挖掘和分析，也必须是建立在特定的目的基础之上的。
在这点上，有的银行建立专门的数据挖掘平台或者专家系统，来实现风险预测、信贷违约预警等。
2、实时业务服务。外部数据大如浩海，不是所有的外部数据都是有用的，必须进行有选择的使用，应用在恰当的场景中。比如实时的引入外部数据来判断客户黑名单及司法信息、企业税收状况、舆情事件等。
3、业务模式创新。大数据从来就不是技术的问题，而是业务模式的问题。利用外部数据资源，形成一个独特的业务模式，这种创新本身就是大数据应用，也是外部数据利用的有效方式。这种业务模式往往应用于特定领域，比如利用小微企业的税收信息进行授信评估和信贷业务、利用土地权证的信息进行农户授信等。
总之，外部数据的利用必须要以银行内部数据为基础，并结合具体的、特定的应用场景，才能充分挖掘和利用好其内在的价值。
数据流入服务、数据落地治理、场景应用为先、促进业务创新、合理节约费用、数据高效应用，这才是银行对于外部数据管理和利用的关键所在。