阿里小贷数据生意背后的云计算

　　作为互联网金融领域的先行者，成立于2009年底的阿里小贷发展初衷即是为淘宝和天猫上的卖家提供小额贷款业务，实现“让天下没有难做的生意”的目标。伴随产品形态的丰富，服务对象的扩展，小贷业务增长迅速，平均每年增长速度在四到五倍左右。经历了近5年的发展，已有超过36 万人从阿里小贷借款，最小贷款额为1元。

　　与传统银行不同的是，阿里小贷重塑了一套信用评价体系和信用概念，其小额贷款模式不需要抵押物，是纯信用贷款。信用从何而来？来源于贷款者线上经营信用数据、财务数据等等，阿里小贷对贷款者在互联网上积累的海量数据进行分析予以授信。数据成为阿里小贷业务模式的基础，也是核心所在。究其根本，这是一笔数据生意。

　　这笔数据生意，从第一天起，就根植于阿里云计算飞天平台之上。

　　数据驱动增长，掘金阿里数据

　　“3分钟申请、1秒放款、0人工干预”，这是阿里小贷独有的一套高效工作模式，这样的高效有赖于其背后独特的业务模式，它将是否放贷、贷款额度和风险评估等传统银行最为看重的业务环节完全交给了大数据处理平台。阿里小贷数据仓库的总共数据量十多PB。每天处理上PB的数据量，包括店铺等级、收藏、评价等几百亿个信息项，运算上百个数据模型，甚至需要测评用户对假设情景的掩饰和撒谎程度。最终用户能否申请贷款、能贷到多少钱，完全依靠的是大数据平台为其计算出来的信用值。这些无疑对大数据处理平台的可靠性、安全性以及计算的准确性提出了极高要求，算错一笔可能就会造成比较大的资金损失。

　　为了确保数据计算的准确性，阿里小贷要从各个层面去挖掘申请贷款的卖家或者消费者的信息，这个过程几乎会用到整个阿里集团包括淘宝、天猫、B2B和1688等多个业务部门的数据，以及集团外部的社会征信数据。这也使得阿里小贷聚集了多个项目的技术骨干。其中，负责阿里小贷数据仓库的基础模型和基础平台建设的架构师陈鹏宇和负责早期运维工作的资深经理张国保就是项目中重要的技术负责人。近日，他们深入分享了阿里小贷技术演进历程。

　　据他们介绍，小贷业务目前每天从外部同步过来的数据量上百TB。数据同步过来之后要经过小贷数据仓库的三层加工，加工结果以指标(输出模型要用到的离线变量)的形式传递到阿里集团的通用决策系统AGDS。通用决策系统能够支持上万种数据仓库提供的离线变量，包括买家、卖家及店铺交易等所反映出的众多数据。此外，它还会从其他系统获取一些实时信息，如卖家当前的交易情况、具体的处罚情况等，并结合这些实时数据和数据仓库的离线变量动态计算卖家的风险程度和授信模型。因此，通用决策模型是小贷真正的业务引擎，其上大约有几千条规则，可以理解成一条有几千变量的公式，能算出卖家的最终授信模型。在放贷系统申请时，这个引擎就能告知它是否可以放贷、大约可以放多少钱等。这便是小贷依据数据计算做业务决策的整个过程，如图1所示。

　　此外，阿里小贷的业务特点决定它对安全性和实时性也有很高要求。阿里小贷使用了多方数据，包括集团内部的数据以及其他合作伙伴提供的数据。这些数据都高度敏感，阿里小贷作为使用方有义务确保数据安全，因此对平台的安全性有较高要求。而且发放贷款之后，要做好贷后监控。小贷通常会根据贷款人的网上行为数据，对其信用风险进行评估。这种评估做得越及时，就越有可能在出现异常时提前发出预、挽回损失。而准确性、安全性和实时性等阿里小贷的核心业务特性都得到飞天平台的有力支持。

　　根植飞天平台，业务迅猛增长

　　由于阿里小贷的业务与数据相生相依，伴随数据来源的广泛增长，数据库会越来越庞大，任何传统数据平台都没有能力支撑这种业务模式，同时，前文提到的阿里小贷对准确性和安全性的严苛要求，当时业界并没有成熟的解决方案，结合云平台在存储和计算方面可以提供的强扩展能力，阿里小贷成为“飞天”平台的第一批用户，并见证了飞天平台的每一步成长(如图2所示)。反过来看，也正是“飞天”这样强大的云平台，才能支持小贷平均每年四到五倍这样近乎野蛮的业务增长速度。

　　2010年4月10日小贷业务第一款基于“飞天”的贷款产品――淘宝订单贷款发布，只面向杭州地区提供服务。那时的飞天集群只有30台服务器，小贷业务用了两个集群，数据处理引擎是SQL Engine 0.2。两个集群同时运行相同的业务，计算出结果后，需要人工将计算结果备份到另一个集群。同年9月，阿里小贷决定将业务开放到全国，然而在一切准备就绪时，发现当时的集群规模无法支撑那么大的计算量。这时，飞天团队做了一件当时看起来很了不起的事，将集群规模从30台扩展到100台，SQL Engine 0.2升级成0.8版本，保障了阿里小贷在2010年11月顺利将业务扩展到全国。

　　2010年底，阿里小贷的贷款模型由原来的两个(授信和贷后预)发展成十个。大家逐渐发现，要想支持这么多模型不能再采用烟囱式的方法，因为拿到数据后要走很长的加工链路，才能得出要用的指标。这时，需要有一个底层的公用数据库，于是大家开始动手建数据集市。此时，又遇到了跟当初扩展全国业务一样的问题，集群处理能力再次受到挑战。飞天平台再一次做版本升级，将数据处理引擎从SQL Engine 0.8升级成Data Engine 0.2，Data Engine 0.2有两项重大突破：1.存储压缩，压缩比可达到2~5倍;2.计算性能大幅提升。最终，集群规模瓶颈被成功突破，飞天为阿里小贷性能提升提供了足够的存储和计算能力。

　　随着业务的发展，数据挖掘项目对阿里历史数据的需求越来越大，有些项目甚至需要从2003年淘宝成立以来卖家的所有数据中去挖掘信息，这便对数据跨度和质量提出了很高的要求。于是，阿里小贷开始构建大型数据仓库，但这无疑给飞天提出了更大挑战，尤其是在稳定性方面一定要有所保证。ODPS的研发开始，将Data Engine与运行于云梯1上能支持1500台服务器的莫邪合并，将莫邪作为ODPS的数据处理引擎。同期，飞天将集群服务器规模扩展到千级别。这时对阿里小贷来说，等于ODPS将飞天平台包在了底层，主要由ODPS来对阿里小贷的业务提供支持。