2012年3月奥巴马政府公布了大数据(Big Data)研发计划，旨在提高和改进人们从海量和复杂的数据中获取知识的能力，这是时隔近20年美国政府宣布信息高速公路计划后的又一重大科技发展部署。1993年诞生的信息高速公路计划改变了全世界信息的生产和传输方式，推动了全球化的Internet的发展，掀起了世界性的互联网革命。
作为信息革命的第二个高潮，可以预见大数据即将对未来的世界产生重大影响。银行业服务及管理模式都发生了根本的改变。统计显示以ATM、网上银行、手机银行为代表的电子银行在我国当前已经成为主要交易渠道，对传统银行渠道的替代率超过了60%。接下来的大数据革命可能对银行的一些观念和经营模式再次加以颠覆，银行业应如何主动变革、变挑战为机遇是一个值得探讨和深刻思考的问题。面对不确定的未来，本文给大家提供一个银行应对大数据挑战思路。
被数据改变的世界
自1980年以来，世界上的数据以每40个月翻一番的速度增长，现在每一天约有2.5E(1E=10G)字节的新数据产生;商业公司数据产生量更迅速，每翻一番的时间大概为14个月。但大数据绝不能简单等同于海量数据，大数据主要有三个主要特征：
动态发展的特征。根据麦肯锡公司的定义：大数据往往是指传统手段和工具无法处理的数据。这是一个比较主观的定义旨在强调大数据是动态的，会随时间和技术而扩展。另外大数据也随着行业的不同而变化，视该行业所使用的软件以及一般数据集大小而定义，当前对一般行业来说落在几十个T(1T=10G)与几个P(1P=10G)之间的数据量就会感到难以处理，对它们来说就是大数据。
它是一个具有很多非结构化的异构数据种类的数据集。作为大数据的第二个特征，这些异构数据种类包括社交网络文本、射频认证、相机照片、手机信号、传感器网络信息等，随着技术的进步这类数据增长率更快，数量更巨大，世界上有90%的数字内容是非结构化的。银行中的数据具有典型的异构化特征数，包括传统业务数据、办公信息、开发测试数据、业务运行日志、与客户进行沟通的邮件和短信、电话银行和服务的语音记录等。
时效性的特征。大数据是传统技术无法处理的数据，严格地说只要时间足够长没有无法处理的数据，因此大数据的第三个特征是时效性。大数据是难以在业务容忍时间内使用传统软件捕获、管理和处理的大尺度数据集，因此大数据的尺度是随任务时间变动的。除了技术，经济性是应对大数据挑战需要考虑的另一个重要因素。当世界上的数据量以年40%的速度增长的时候，信息科技(IT)投入的增长率仅有5%。技术和经济两方面决定无法使用传统方法应对大数据时代的到来。
快速增长的数据尤其是异构数据表现出让人又爱又恨的两面性，一方面可以通过大量数据得到独特的洞察给人们带来价值，另一方面处理数据的难度，甚至有时会让数据分析的努力得不偿失。这迫使人们开始重视研究大数据问题。
银行、信息和关系网络
未来是建立在过去的基础上，总结银行、信息技术和社会关系网络相互促进的历史，有助于探寻即将到来的大数据时代的蛛丝马迹。
银行最初的职能是经营货币，充当信用的中介人。原始的商品的买卖是钱货两清的，当商品能够即赊购赊销，信用就产生了。信用的潜在前提条件是对商品以及商品买卖双方信息的了解。信用是不对等的，早期企业间信用关系形成一种雪花形状，一些较大的企业机构往往在一定范围内成为信息收集中心和信用分配双重中心，中心企业的信息基本不会对它的外围企业有所帮助，外围企业会进行偶然的交易，因此信用具有很大局限性。商品经济的发展，要求信用在全社会进行放大，突破上述局限，与之适应构造了这样一种社会关系：银行对其他行业企业单向提供信用，处在支配地位，成为信用社会信用中心;企业为了获取更多信用主动向银行提供自己的信息，银行也自然成为社会经济信息收集中心行业。这种关系的形成的缘由是只有作为信息收集中心，银行才可能使用信息对信用进行社会性放大。这时以银行为中心，企业间信用和信息构成雪花和网状的混合结构，企业之间能够进行更大更广的信用连接，形成更复杂社会关系。
限制信用无法进行更有效扩展的另一个要素是信息的具体存储使用形式。信用情况是变动的，因此也需要对所收集变化的信息进行判断，计算机技术发展的初期银行的标准化需求是直接推动力之一，这种标准化一方面是指将单据等信息进行数字化标准化，另一方面是指将企业的经营活动用标准化指标表示，银行是这种规则的构建者，企业只能屈从建立所谓规范化的制度。一个典型的例子是由于反映了关系网络因此关系型数据库成为信息行业的重要产品和标准。使用计算机技术银行强化了它的经济信息收集中心地位，同时可以更深度地探测分析它的借款人关系网络。基于对客户信息更深刻和正确的探测，银行能够进行信用更有效的放大，结果是以银行为中心筛选出适应社会发展的最良好的企业关系群体，优化、加速了整个社会资源配置。银行还通过信息技术如POS机、ATM不断扩大优化以它为中心的信息和信用关系网络。
各种传统业务向互联网迁移，包括银行业。但是银行在互联网上发展业务仅仅是借助这一渠道，它依然使用传统的数据关系。互联网构建的原则形成一种联网机构相对平等的关系，没有唯一的核心行业，于是银行在互联网上不再是经济关系的信息中心。应该看到互联网虽然不是真实世界人们网络关系100%的映射，但它的确以另一种面貌反映了这种实体关系;面对竞争银行无路可退，只能发展提高对数据的分析能力。
以上回顾可以得到以下一些初步结论：
银行是信用提供者，潜在的前提条件是对客户信息的正确把握和了解。
广泛意义的网络出现后，银行业的主要竞争优势体现在信息中心，能够高效的探测集合到各种行业以及企业的信息，这是其他行业做不到的，银行业主要任务是对客户信息进行去伪存真。Internet以及相关网络的出现后，银行不再是该领域规则的主要构建者，不再占据天然的信息汇聚优势，成为被动的服务者，除了去伪存真，银行业必须主动吸引客户;这个时代银行只有遵循网络规则，除此之外别无它途。
过往银行客户信息能够高效的探测，面对处于支配地位的银行，企业愿意主动提供信息并配合进行标准化。但在全新的网络环境下，银行是服务方，信息不可能按照银行的意愿标准化并主动推送。银行必须采用新的能够检测非标准化的企业信息/数据的装置和手段，并不断改善其对社会关系探测灵敏度。
国外银行模式分析与借鉴
为了得到客户真实关系网的信息，国外一些银行开始研究如何通过获娶整合各种网络大数据对客户真实社会网络关系加以映射和应用。如下这些案例主要体现的思想有：
增加传感器，增强感知客观世界能力排除噪音。在美国由个人消费信用评估公司(FICO)开发的FICO信用积分指标大概包含15~20个变量，大多数美国银行对个人信用评估也建立在该基础上，再添加本行的其他一些侧重指标。这造成了一个问题，这个标准太简单划一了，不关心细节。但这与我们了解的客观世界的复杂性是不相符的，人不是机器，不可能存在任何时候都是非好即坏的绝对情况，同样的人不同的环境会形成不一样的结果，人的信用也如此。在此意义下FICO信用积分太主观了，究其原因是银行过去信用评定者由于缺乏先进的技术，要判断每个人的信用所形成的环境只能使用客户经理人为判断，成本太高昂了。
ZestCash是这样一家公司，它的客户群体主要瞄准了信用记录不好或者没有信用卡历史的人。ZestCash的创始人是Google的前首席信息官，Google是大数据研究的开拓者之一，其MapReduce技术是被认为当前研究大数据最常用的有效技术。ZestCash使用MapReduce进行大数据分析，考察贷款人的数千个信息线索(对比FICO的几十个指标)，从而造就了它独特的竞争力。一个例子是对于一个无法进行某次还款的客户不论他是否主动解释，传统银行都认为他是高风险的，但ZestCash发现如果这种顾客主动解释其原因，他们更有可能全额还款;ZestCash还会探测客户在ZestCash网站上停留的时间(这反映了真实世界人们对信用申请的谨慎程度与还款诚意)作为信用评价的考量因素，这些都是过去FICO信用评分系统所无法想象的。总之ZestCash使用这么多传感装置就是为了理解这个世界的差异，理解网络对真实世界的反映。
如果仅仅感知一个数据可能是噪音，也可能我们误理了它，但是如果增加我们感知世界的能力，将多方面展示世界的数据收集起来，并理解它们关系的时候，奥妙就显示出来了。而这些数据不可能是规规矩矩的，需要我们使用不同的探测方法加以寻找，更敏锐的感知会令我们与众不同。对于我们周边那些太忙碌或者一时糊涂遗忘了信用卡还款时间的人，幸亏有这样一种技术，一种与我们对真实世界的感知相符的技术。
提供深度的数据分析服务，成为消费信息中心，提高客户认可度的手段。国内的一些银行已经尝试根据顾客购买产品的历史，分析他们的兴趣使用各种手段主动营销，但这仅仅是数据初步应用，还没有做到将线下的购买行为与客户浏览行为结合起来进行更进一步分析。尤其是当今经济热点切换频率快，各种产品收益轮动，客户对银行产品的兴趣会紧随这种波动，这种分析能力国内银行尚欠缺。国外银行现在已经开始根据大数据的分析尝试提供超越银行领域的产品和服务。新加坡花旗银行基于消费者的信用卡交易记录，有针对性地给他们提供商家和餐馆优惠，并且根据反馈不断学习提升推荐准确度。服饰零售商Gap为了提高吸引力，与Visa卡合作，由Visa采集数据，如果客户在Gap店附近进行刷卡的就会得到折扣优惠，形成龙卷风效应。这种看似与银行主业风马牛不相及的行为目的何在？在这上面运用银行的分析能力是一种浪费吗？传统银行的优势在于它是经济信息中心，客户对银行的信任依赖是建立在这种信息收集处理能力的认可上。因此花旗和Visa这种行为还是一种信息中心的争夺和显示，不过银行处在服务方，并且变为消费信息中心。客户不关注服务的目标从银行本身转移到客户，他们只是亲身感受到银行信息获取和处理能力的强大，进而认为银行是可依赖性的安全的，这就大大提高了客户的认同度。
即使非刻意增加非结构化数据，也要明了大数据是银行进行非账务性可能性线索排查的有力手段。以反洗钱为例，洗钱疑犯虽然与银行发生了直接关系，但他绝非像普通交易那样有意无意的将银行作为他的信息中心。对银行来说洗钱疑犯如此讨厌，使用标准的方法和工具去判断这些伪装起来的异常客户不是传统银行的强项，将大大增加银行工作量。银行的目标是行为可预测存在必然性的合法借贷客户，在一定程度上客户的行为以及与银行契约关系是标准的。就此《经济学人》举例说“对照顾客姓名看其是否处在制裁黑名单之上这件事情并不容易，因为一家银行可能会有数千位顾客和这些制裁黑名单上的顾客重名，如果稍有不慎，就可能毁掉一份顾客关系。”对此花旗银行引入了Watson，能从各种不同数据源获取信息，“通过搜集顾客的国籍、地址、家庭成员的姓名，以及他们是否曾经在某些国家旅游或者从这些地方收到过汇款等记录，来确定这个顾客是否正是制裁黑名单上的那位。”Watson这种杰出的处理非结构化数据的能力——像专家那样观察真实客观世界对细节加以洞察得到特殊结论，使它的领域又扩展到反欺诈、零售业务分析等领域。这里必须承认银行的结构化的数据在某些方面是有局限性的，因此即使非刻意增加与客观世界更相符的非结构数据，也必须明确大数据是对付我们常规业务之外挑战的有效武器。大数据时代来临，银行准备好了吗？
使用大数据找到那些适合自己企业模式的客户群体，打造、强化企业特有的商业模式。大数据比银行传统处理的数据复杂是否意味着运用大数据的银行业务会比传统银行更复杂？其实不然，以美国最大的网上ING Direct为例，该行成立于2000年，2011年其存款规模达820亿美元，客户数量已经达到700万。该行的独特运营模式就是：简单并且对追求高回报的客户具有吸引力。为此该行只提供网上银行服务;只向客户提供最基本的金融服务，如普通储蓄存款账户、定期存单、简单住房按揭贷款、普通基金理财服务等;该行自成立以来没有发放过一张信用卡;该行对支票账户会支付平均4%的高额利息，保证了客户从自己的存款中得到最高的回报。但是这种简单的运营模式完全是建立在基于对复杂大数据的分析基础上，ING Direct所以能够提供如此高额的回报在于他们已经计算到：相对传统银行办理业务所需要的材料费和人工费ING Direct能大量节省成本。
基于所有的可获取的各种异构数据分析基础上ING Direct甚至主动解除不符合它们发展模式的客户。例如给呼叫中心太多电话的客户，可能是恶意的，至少与ING Direct简单以到达节省成本的企业经营模式不匹配;甚至对ING Direct网站浏览太多时间的客户，ING Direct也会质疑客户没有必要花费这么多时间(同时也增加了银行的维护成本)来理解这些简单易懂的产品。为此ING Direct每年要主动解除成千上万与其公司经营理念不符的客户，节省上百万美元成本。在ING Direct这种看似简单的经营理念下我们看到它的基础是能够实现对大量异质数据进行复杂分析从而抽取出反映真实世界的简单有效的网络关系，貌似简单实则复杂。大道至简的ING Direct和上文提到的化腐朽为神奇的ZestCash看似两个极端，但是他们都取得了成功，原因不外乎：不管经营模式有多么不同，它们都有足够的分析真实社会关系(这种关系由于当今社会变得复杂往往通过大数据展现出来)的能力，能够通过数据分析出与自己的经营模式最匹配的社会关系，从而有针对性的筛选同质的客户。反观我国大多数银行或者没有明确经营模式，或者实施过程中执行力甚弱，至少数据全方位分析能力的缺乏是一个很重要的因素。
分析上述案例我们对于大数据的运用又得到以下一些启示：
重要变革的开始往往是以测量手段的革命为前奏，案例再次强调了为应对大数据，银行必须根据业务目的和特点在相应领域配置感知装置。同时提高传感器灵敏度的操作也是对业务深化的过程。
观察的目的是分析。只给客户提供数据而缺乏深刻的分析对客户而言是一种没有实力的表现。银行分析能力的展示也有助于巩固客户关系，强化信任感。
大数据是处理以往非典型银行业务的有力工具，反映着更广泛的社会关系，这是与银行业务向更复杂发展趋势相符合的，银行不应该不分情况的对各种异构数据进行排斥，大数据的分析有助于获取独特的洞察。
当银行越来越多的展现其服务行业本质的时候，并非是对客户不加选择的进行服务，必须承认有一部分客户与银行的独特经营模式相匹配，那些最值得服务的同质客户往往掩盖在不同的数据下面，需要我们善用数据加以寻找。
银行业竞争者分析
网络时代银行不再是唯一的经济信息中心和信用中心，一些新的信用中介崛起了，当前银行主要的竞争对手包括：大集团的财务公司，网络服务/内容提供商。前者的主要服务对象是传统银行的大型客户，后者服务的主要对象是传统银行的小微型企业客户，大数据时代它们对数据是如何考虑的？
中国的第一家金融公司——东风汽车 工业财务公司成立于1987年。近年来借助网络技术信息交流——银行最初的优势壁垒被打破，越来越多的大型企业构筑财务公司成为可能，迄今为止，全国共有财务公司150家，117家中央企业中有70家已经成立财务公司。为了减小风险，财务公司不论是提供的服务还是数据需求都是非常标准化的，标准化程度越高越有利于财务公司降低成本，在20世纪90年代美国的银行及其他金融机构业务都有很大程度萎缩的情况下，金融公司却保持住了自己的市场份额，其中相当大的原因是财务公司从事的是银行多年前就进行的所谓传统服务，受市场波动影响较校由于财务公司与母集团的天然粘着性，进行标准业务竞争，银行是处于劣势的。但财务公司的产融结合特性决定大量的内部交易将加速风险的传递，引起连锁反应，为了控制这种风险必须在金融资本和产业资本之间建立一道有效的防火墙。构建这种防火墙与财务公司的业务和数据极致标准化需求是背离的。在这方面银行能够观测到比财务公司多的多的样本，而且银行最大的优势是成为风险关系的控制中心，财务公司成为集团的风险控制中心简直是不可能的也非其职责所在。这样对银行来说竞争力就体现为它能否在大量数据分析中找到那种风险关系，从而有针对性的对大企业提供恰当的风险服务。
相比之下，银行在零售领域受到以搜索引擎公司、电子商务公司、社交网络公司和快递公司为代表的网络服务/内容提供商更严峻的挑战，如银行业之于计算机时代那样，这些新兴行业是网络技术规则的最初需求产生者和规则主要制定者。Google即是大数据的开拓者也是搜索业的巨头，它在2012年10月在英国推出新项目，为企业用户提供贷款帮助其购买该公司搜索广告。Facebook——网络社交巨人发现一个品牌的粉丝中只有16%会在该公司的Facebook页面上活动，Facebook希望增强客户在Facebook上与品牌互动——将社会实体关系向网络上映射，从而使企业和Facebook都能受益。金融往来是人们日常最频繁的活动之一，受到Facebook的关注，它正在与澳大利亚联邦银行合作开发在线金融服务，这项服务将使拥有银行账户的Facebook用户通过社交媒体渠道向第三方以及Facebook好友进行支付。阿里巴巴——交易额突破1万亿元的淘宝和天猫的拥有者，推出以其网上商城客户为目标的小额贷款服务，这种贷款的一个特点是无需抵押。因为阿里巴巴可以使用贷款者在淘宝和天猫经营流水、电子商务信用度评级以及与整个供应链产生的往来等这些传统银行根本无力获取的信息对客户进行另一种角度的刻画和信用评价。在物流网上，物流巨头联合包裹UPS开办了物流银行，由于掌控了物流信息能够在保证最小风险情况下使客户最快速度得到货款。
对竞争对手的分析可以看出：
面对大集团的近似银行传统业务的同质化的财务公司出现，大数据反而成为银行竞争的法宝。
在零售领域Google和Facebook长于对万千完全不同的大众的行为的信息的发掘，阿里巴巴和UPS则侧重于对商品交流信息的整理。不论是哪一类努力都将自己打造成一个领域的信息中心，努力使自己适应人们行为变化带来的数据的变化，而不是对客户施加固定格式要求。
银行业应对挑战的建议
麦肯锡公司认为，有些银行只要简单地利用他们现有的资料，就可以把接受他们贷款的客户份额增加一倍，贷款损失减少四分之一，这是一个让人震撼的结论。但是仔细回想我们上述的分析我们必须承认这个结论：不论大数据技术能否成为下一个时代的技术统治者，但对银行来说数据推动的时代的确到来了。我们对于这样一个正在迈入的时代有如下一些感悟和建议：
我们处在的时代形成各种各样的关系网络，简单关系的时代已经远离。这些网络关系是数据异构化的原因，我们要想识别这些网络关系就必须完善我们的触觉，选择好的传感方式，重视加强对新一代的数据分析工具如MapReduce、Greenplum等的研究。而且在我们看来对于非电子银行来说最重要的传感器是人，是客户经理，离开他们对于其他行业来说银行业什么也不是。竞争对手可以成为客户行为信息中心，商品交流信息中心，但是技术没有客户经理的智慧能对客户的道德进行判断、对各种行业形势进行把握。大数据分析的实质不就是将客户扔到更大的社会背景下加以曝光，准确定位环境中客户所处的位置符合怎样一种商业模式。到现在为止没有任何技术能超越人对活生生的客户对各方面加以分析而且能够引导客户进入熟悉的商业模式。仅仅进行技术的比拼我们银行业未必有优势，因此要记得客户经理是你的财富，他们的经验是用你的金钱堆积起来的，如果银行无法使客户经理了解的知识以恰当的数据方式表达出来并被理解，那么银行就是浪费手中最大的数据资本。
大数据时代也可以称为分析时代。对于处在提供服务地位的我们和竞争对手能够成为这样或者那样的信息中心在于分析能力。当今社会对各种人、企业和关系的感知能力要远胜以往，但是客户按标准提供其自身信息的强制力越来越小，说明信息更多以非标准化、非结构化的形式被非传统的渠道收集起来，没有分析它们的能力不可能成为任何关系的中心。想想我们上述的例子莫不如此，而且所谓企业选择的成功商业模式不就是建立在强大的分析实力的基础上吗。过往中国的银行业过于强调资源的整合，在政企界限模糊、金融资源高度垄断的时代这种模式很容易成功。但是时代在改变，利率市场化、金融脱媒等一系列金融市场化政策，使得银行不再拥有独一无二的资源，它们整合什么？即使是比拼整合能力凭什么银行敢说自己比竞争对手更强呢？中国银行业该往哪里走，国外银行和竞争对手给我们指明一条路：加强分析能力自己找到资源，更重要的是通过分析找到独特的经营模式。即使对于某些具体业务来说能够改善数据分析能力也往往会令银行受益，例如当前理财市场表面看千篇一律，新的产品推出马上会被其他银行所复制，但是它们真的没有区别么？谁了解这个黑匣子里的秘密？也许只有在海水退了的时候才知道谁在裸泳吧。
当前国内大多数银行还处在将手机银行、网上银行、POS机作为改造的重点的阶段，世界的信息技术又发生了升级的趋势，我们又慢了半拍。说到底这是国内银行业缺乏变革的眼光或者勇气，对产业升级缺乏战略眼光，不愿意放弃传统的成功的方法，只有在情势逼迫之下才不得不进行转型。好工具要有使用的动力和决断，应对大数据时代国内银行也存在一个改变内在组织形态与业务模式匹配的问题。正如上文所说，国内银行传统的架构适应于进行资源的整合，信息科技部门作为配角是合适的。银行的发展越来越向分析时代进发，当前国内银行管理部门的主要工作都是自觉或者不自觉的进行分析工作，尤其是数据分析，各业务部门和信息科技部门的矛盾实质是银行没有足够分析能力的表现，但这不是一个科技部门所能决定的。将信息科技仅定位于部门的活动已不合适，不能提高全行的分析能力，有必要将信息科技工作定位于更高的战略层次，将银行信息科技工作从支持层面转移到以信息获取能力提高为重点。
我们的银行本质是一些金融专家的聚合，缺了他们，我们的行业与其他行业相比真的一点优势也没有了，我们将是一个低门槛的行业，幸亏有他们的智慧和经验。但是当我们银行人看到那些经验丰富的客户经理推荐的客户往往被旧的所谓评估流程拒绝。听到他们抱怨的时候，我们怎么能期望客户对我们的服务感到满意呢？是他们的问题，还是管理者应该检讨我们没有客观的描述世界？旧的方法被证明是官僚的、不适应客观世界的时候，我们还能无动于衷地使用规则制度流程吗？让我们银行从业者尽量客观地描述复杂的世界吧，我们虽不能确定大数据是否一定能主宰未来，但是它的描述客观世界的思想正是我们所探寻的有效提高银行业务水平之道。
