来源:中国数据分析行业网 | 时间:2018-05-21 | 作者:数据委
20世纪80年代,美国著名社会思想家Alvin Toffler对大量数据、非结构化数据进行了预测,他指出 大量的人工编码信息将取代自然信息充斥人们生活,并会达到惊人的准确度, 但当时他的观点并未引起重视。2008年英国《自然》杂志发表了一篇文章“Big Data: Science in the Petabyte Era”,从此“Big Data(大数据)”一词开始进入人们的视野。同年,美国计算机科学家Randal E. Bryant等在“计算社区联盟”发表了一份有影响力的白皮书《大数据计算:在商务、科学和社会领域创造革命性突破》,这为“大数据”术语提供了理论支撑。
2014年白宫发布了全球大数据白皮书《大数据:抓住机遇、守护价值》,鼓励使用数据以推动社会进步, 特别是在市场和现有机构并未以其他方式来支持这种进步的领域,银行业便是其中之一。
商业银行大数据发展现状
(一)数据容量大,涵盖范围广
在大数据时代,银行业数据迅速膨胀并呈现出几何级数的增长态势。由于行业特性,银行业在长期业务开展过程中积累了海量数据(见表1)。从数据涵盖范围来看,数据类型包括以工资、公积金、消费贷款等为代表的结构化数据和以文档、图片、音像和地理位置信息等种类繁多的非结构化和半结构化数据。 波士顿咨询公司曾指出,银行业每创收100万美元,会平均产生820GB的数据,数据强度高踞各行业之首, 而在相同创收条件下,电信、保险和能源行业数据强度分别为490GB、150GB和20GB,由此可知 银行业在大数据应用方面具备天然优势。
(二)数据处理复杂,充分挖掘困难
商业银行数据体量庞大, 在数据处理过程中存在很多问题, 主要包括: (1)数据治理体系化建设匮乏。 现阶段商业银行尚未形成系统的数据治理方法和体系,缺乏有效的数据分类、整理和加工。 (2)数据资源管理整合度不高,内部可用信息使用率低下。 当前商业银行的数据在组织内部处于割裂状态,缺乏顺畅的共享机制,难以实现数据的有效整合和使用。 (3)数据内容复杂多样,难以充分挖掘数据资源潜在价值。 造成这一现状的原因在于商业银行非结构化数据占比不断上升,数据构造方法重复率高,且关系复杂。
(三)数据资产化,应用场景丰富
国内商业银行现处于数据资产化、产业化的起步阶段,且 银行运用大数据技术以描述性数据分析为主,预测性数据建模为辅,以自身交易和客户数据为主,外部数据为辅。 数据资产目前最主要的作用是趋势预测和决策支持,典型的应用场景集中在营销分析、内部运营和风险管控等方面,具体应用案例包括交叉销售、客户群体划分、信用评分及违约监测等。当前我国商业银行大数据应用深度、广度和频度都与国际先进银行存在着巨大差距(见表2),迫切需要拓宽数据应用层面,实现数据资产增值。
(四)数据应用难度大,制约因素多
1.大数据技术框架
大数据技术框架的组成部分包括处理系统、平台基础和计算模型。首先,处理系统必须稳定可靠,同时支持实时处理和离线处理多种应用,支持多源异构数据的统一存储和处理等功能。其次,平台基础要解决硬件资源的抽象和调度管理问题,以提高硬件资源的利用效率,充分发挥设备的性能。最后,计算模型需要解决三个基本问题:模型的三要素(机器参数、执行行为、成本函数)、扩展性与容错性、性能优化。这些要求对构建大数据技术框架提出了非常高的要求。
2.大数据应用推进和落地
商业银行大数据应用虽然在风控、反欺诈、征信等领域初见成效,但在其他层面暂时还处于探索阶段。究其原因,一方面只有当数据分析转变为企业业务方式后才产生价值;另一方面商业银行在新建应用系统的过程中缺乏数据思维,没有充分了解大数据分析的价值、战略和流程。同时大数据应用投资效果难以衡量,领域建模未得到充分重视。
3.数据安全与个人隐私
现阶段用户数据的收集、存储、管理和使用缺乏规范,主要依靠商业银行自律,用户无法确定自己隐私信息的用途。此外,鉴于我国商业银行体制机制限制以及尚未健全的金融法律法规体系,许多金融机构担心擅自使用数据会触犯监管和法律底线,同时数据处理不当可能会给自身带来声誉风险和业务风险,因而在驾驭大数据层面难以付诸实际行动。
大数据环境对我国商业银行的影响
(一)颠覆商业银行发展战略
传统商业银行的发展战略是在市场调研和充分考虑客户需求的基础上,通过预测未来经济运行状况,结合自身现有资源,依靠决策者的经验确定其发展目标及经营战略。 在大数据时代,商业银行通过运用大数据分析技术,更加科学合理地评估客户需求,准确定位自身的服务对象和服务领域,为商业银行在内部管理、业务发展及客户营销等多个层面提供决策支持,从而使得企业战略决策更加科学、有效。
(二)变革商业银行经营方式
大数据时代,商业银行的运营方式将面临重大变革,主要体现在运营精细化、虚拟化和科学化。首先,银行网点、终端设备及社交媒体产生的海量数据将对商业银行运营方式产生深远影响,大数据处理技术将会使商业银行在客户开发、资产管理和产品创新等领域更加精细化。其次,数据处理能力的提升将加快商业银行电子化发展进度,货币资金越来越多地呈现为各类数字信号的交换,电子货币将会逐步取代实物货币。另外,电子商务平台、客户自助服务终端的发展,将不断减少传统柜台服务,电子渠道将是未来商业银行发展的主流方向。最后,科技进步使得企业经营方式从传统的经验型转向科学型。商业银行将由过去的资金中介逐步向信息中介转变,由过去存贷汇服务者向信息提供者、财富管理者转变。
(三)挑战商业银行数据驾驭能力
大数据的迅速发展孕育了商业银行的繁荣局面, 同时多样化的数据也给银行数据处理带来新的挑战。
(1)海量数据的集聚,这是大数据处理的第一道关口;
(2)硬件成本的快速扩展,并发处理的瞬间增长,增量处理(注1)、单遍扫描(注2)都成为大数据分析的必备技术;
(3)数据类型的多样性和异构性以及建模的复杂性,这些难题需要多样化的处理手段,但解决方案尚在研究和实验阶段;
(4)大数据的准确性处理将会成为商业银行数据应用面临的一大课题。此外,在快速变化的金融环境下,数据的有效性、数据清洗、数据噪声的去除等问题都会被提出来。
发达国家商业银行应对大数据时代的经验和路径
(一)英国商业银行:渐进式道路
渐进式发展道路是指商业银行在大数据背景下,从被动参与到主动投入,由量变不断迭加到质变的长期演变过程,主要体现为大数据技术框架的搭建和业务演变两个方面。大数据技术框架是由一套完整的硬件和软件设施组成,通过硬件和软件设施相辅相成来挖掘和分析沉寂在海量数据背后的信息; 银行业务演变主要表现为:零售业务—信贷业务—中间业务, 遵循“先易后难,逐步升级”的发展规律。由于部分商业银行受到外部环境和内部条件的双重制约,在科技、资金及人才等方面投入有限,因而在大数据时代采取渐进式发展道路。
英国商业银行在稳定发展的前提下,利用大数据技术进行一连串小的改变,以达到稳中求变的效果。 虽然英国商业银行有关大数据技术的应用还处于探索和试点阶段,但在以下两方面取得了初步进展:一是大数据平台的基础建设。 英国商业银行将更多的新工具和新技术加入到现代化的分析环境中,包括非关系型平台、支持关系型和非关系型数据处理的探索平台等技术。 二是积极推进业务应用。 英国商业银行积极推出基于大数据技术的试点项目,为实体经济发展和居民生活便利提供更加高效的金融服务。
(二)法国商业银行:跨越式道路
跨越式发展路径是商业银行基于整体视角,选择重点领域,实现跨越式发展,主要表现在技术创新和经营方式变革两个层面。商业银行 通过技术创新突破传统技术框架 ,实现从数据采集到成果应用的一体化结构,将各项业务纳入可控、可传导、智能化的信息生态闭环; 经营方式变革是指商业银行根据客户不同消费需求、价值预期和风险偏好等因素,制定出不同于竞争对手的差异化经营策略 ,避免与竞争对手陷入恶性竞争,达到建立比较竞争优势并取得竞争主动权的目的。
法国商业银行在互联网迅速普及和人工智能化水平不断提高的环境下,利用大数据技术对商业银行进行全面变革。为此,法 国商业银行在创新层面上投入大量资金用于数字化技术的发展,囊括金融服务全部环节和金融业务的各个方面, 通过增加业务和开展包括新客户体验和节省成本在内的激进项目打造全新的核心竞争力,并以客户为导向,削减或者退出非核心业务,集中资源发展优势业务和地区,推动对公、零售和金融市场业务的转型,着力发展高效、轻资本的业务模式,不断提升金融服务效率和服务水平。
(三)美国商业银行—组合式道路
组合式道路是渐进式和跨越式路径的结合,发展路线为“数据—信息—商业智能”。这需要商业银行一方面要做好基础设施建设,建立智能化的信息平台、终端技术和数据存储体系;另一方面则要积极开展顶层设计,实行差异化经营战略,完善组织架构,形成大数据整合、应用和推广的全面管理体系。组合式道路将逐步成为商业银行定量化、精细化的发展路线,对打造企业鲜明竞争特色,为客户提供多样化、差异化金融服务具有重要意义。
早在20世纪90年代,美国商业银行就开始建设数据仓库,运用数据挖掘和分析全方位调整管理模式、产品结构和营销模式,从根本上提高了企业风险、资产负债和客户关系管理水平。同时,美国商业银行利用现有成熟的科技成果,不断完善数据搜集、管理及评估方法论体系,对模型开发、验证、测试、上线和监控实现全生命周期的管理,保证了量化模型与时俱进。另外,美国商业银行根据大数据产业特点和发展趋势,及时打破自身业务界限,确保各业务条线之间无数据壁垒,实现内外部数据的有效整合。
我国商业银行的路径选择和政策建议
以上三个国家的内外部环境和制约因素不同,大数据发展的路径选择也各不同,既有充分发挥传统业务竞争优势,也有从整体视角选择重点领域,获取战略先机。 笔者认为,我国商业银行应当采取渐进式发展路径。 原因在于:一方面目前大数据的应用发展还处于初级阶段,国内尚未形成普遍应用的局面。现有应用以机构内部数据为主、外部数据为辅,数据的开放和综合应用还有很大的发展空间;另一方面大数据理论超越了实践应用,模式创新不足,采取渐进式路径可以使决策者所选方案不会与现实状况产生较大差距,有助于以量变引导质变,推动商业银行稳定变革。
(一)做好顶层设计,优化组织架构
商业银行应从战略层面将大数据能力建设纳入发展规划,突破传统信息技术部门或电子银行的狭隘视角,组织协调业务、管理、支持保障等多个部门大数据工作推进机制。同时,积极与社交网络、电子商务、移动通信等大数据平台开展战略合作,探索建立电子化金融商业模式,建立数据信息交流共享机制,将金融服务与社交网络、电商、电信等深度融合。此外,大数据时代需要商业银行各部门之间的分工协作与相互支持,构建更加高效的金融服务体系。因此,商业银行应该明确组织规划,加强决策层的领导,确保大数据项目始终体现战略层意志,同时银行也应当提高组织的灵活性和适应性。
(二)提升大数据时代的核心能力
一是数据获取能力。就数据获取而言,商业银行除了应当搜集和整合日常经营活动中数据,还应与拥有稳定数据源的公司进行战略合作,积极推动传统业务渠道与互联网金融等新兴业态纵向整合、横向渗透。
二是数据挖掘能力。商业银行应当具备海量数据快速处理能力,不断增强数据挖掘中价值攫取能力,从而高效配置金融资源,形成多元化的金融服务层次和更完整的金融生态圈。
三是数据分析能力(注3)。数据分析的主要目的在于找出隐藏在数据背后的内在规律,为整体抉择、业务经营及信息披露提供准确、快捷、全方位的信息服务。
(三)积极培育和维护客户
商业银行要打破传统的“以业务为中心”的经营理念,更加注重“以客户为中心”的服务模式。这需要商业银行做到:
一是主动挖掘客户需求前景。商业银行应致力于研究客户行为习惯,通过对交易数据、多渠道交互数据、社交媒体数据及其他客户相关数据的全面分析,真正了解客户需求,并预测未来行为。
二是创新客户关系管理新模式。通过与客户保持高频次的互动,清晰、具体地了解客户所处的生命阶段、财富阶段,掌握客户在金融活动中的需求和痛点,将银行内部数据和外部社交数据互联,获得更加完整的客户视图。
三是尊重客户隐私,维护数据安全。数据采集技术的发展使得个人的偏好、财富和家庭背景等隐私信息很容易被获取,商业银行在数据挖掘过程中应最大化地隐藏用户隐私。
(四)加强人才队伍建设
大数据时代对人才的需求,不亚于20世纪90年代信息化和新世纪的互联网浪潮,商业银行需要早作准备,合理界定行业人才需求范围。人才队伍建设主要有三个方面:数据分析技术、业务目标理解和沟通管理技能。数据分析是大数据应用的核心,没有数据的分析,就没有数据价值的提取;业务目标是所有数据解决方案的源头,如果没有业务目标,数据挖掘也就失去了方向;沟通管理技则是能够把模型预测的结果用来改善或影响行为,形成新的策略和见解。
注:1.对所有备选方案分别进行两两比较,依次剔除次优方案,最终保留下来的方案就是备选方案中更优的方案。
2.对数据流进行聚类时,只能按数据点流入的顺序访问一次。
3.大数据时代的数据分析与传统商业智能的数据分析有所差别。传统商业智能所处理的数据大多都是标准化、结构化的数据,而大数据时代,需要处理的更多是半结构化和非结构化的数据。
来源:新华网