台州银行：基于StarRocks构建极速统一的数据服务平台

来源：2023年度城市金融服务优秀案例评选

获奖单位：台州银行

荣获奖项：渠道建设创新优秀案例奖

一、项目背景及目标

随着银行业数字化转型步伐的加快，我行数字化应用不断推进，大量应用系统需要依赖大数据的驱动和支持。

以往的做法是根据某个应用的需要，一般采用数据复制的方式，将大数据平台的数据复制到该应用所在的数据库。

但是经过多年的运行，在数据量不断增加、业务需求日益复杂的情况下，也逐步暴露出一些问题：

一是带来大量的数据存储冗余，增加应用系统数据的管理成本；

二是数据加工同步链路长，效率较低，数据应用时效性较差；

三是增加业务系统库压力，部分业务库在大表查询上性能不佳，数据查询压力较大。

通过建设数据服务平台，将大数据的数据封装成接口，为各业务系统提供稳定、便捷、性能优异的取数服务。

二、项目/策略方案

整体技术架构设计如下：

（1）数据批量计算

依托于大数据平台的算力对海量数据进行批量加工计算，实现前置数据模型计算。

（2）数据同步：

采用StarRocks的Brokerload/RoutineLoad等方式高效同步大数据中的模型数据。

（3）接口开发发布：

应用平台基于StarRocks中数据配置开发相关接口并注册到网关之上对外发布。

（4）接口鉴权及调用：

应用系统通过Http请求调用接口，服务平台通过请求头信息进行鉴权。

三、创新点

（1）技术架构设计创新：

本项目区别于以往将大数据里的数据复制到各业务系统的做法，而是基于上层应用平台+底层StarRocks构建统一的数据服务平台，大数据的数据通过BrokerLoad/RoutineLoad方式导入StarRocks，应用平台将数据封装为接口，利用Starrocks优越的大数据查询性能和高并发能力，供各业务系统调用；

应用平台基于SpringBoot框架和Kong的网关注册实现“分布式+微服务”设计模式，达到高可用、高并发、可伸缩、服务注册发现、接口鉴权限流等效果。

（2）接口管理设计创新：

接口分类管理，业务系统分别授权，可实现接口与系统多对多绑定，部分重复查数需求可以合并。

四、项目过程管理

项目整体实施周期如下：

厂商进场建设：2022年8月

系统上线：2023年1月

五、运营情况

目前数据服务平台已上线8个月，已上线13种业务类型70余个接口，已接入反洗钱、反欺诈、个人网银、电子函证等13个业务系统，日均导入数据50余G，日均提供接口访问30余万次，接口响应成功率99.99%，接口响应时效99分位在300毫秒以内。目前对接的业务系统及需求正在快速增长。

六、项目成效

数据服务平台目前已上线运行8个多月，整体运行平稳，带来的成效主要有以下几点：

一是为业务系统提供及时数据查询服务，提升业务系统数据应用时效性，相较于老的数据下数的同步方式，整体耗时缩短80%，业务系统能更早的获取到新的业务数据，提升业务体验；

二是敏捷响应业务系统用数需求，服务平台通过配置的方式快速生成接口，业务系统调用接口即可获取数据，整体用数需求响应速度提升50%，提升业务系统需求迭代效率；

三是为业务系统提供稳定、高性能的数据查询服务，平台提供高可用的数据查询服务，提升业务稳定性，同时平台具有较好的数据处理能力，亿级数据点查能做到毫秒级响应，为业务系统提供性能优异的数据查询能力，提升业务系统用户体验。

目前平台已接入13个业务系统，覆盖对内、对客多种业务场景，为相关业务系统提供了稳定、便捷、性能优异的取数服务。

七、经验总结

数据服务平台的应用，为大数据提供统一的数据出口，为大数据驱动和支持业务发展提供了一种更为高效便捷的新模式。业务系统可以更加专注于自身业务逻辑而无需关心底层数据结构及来源，降低业务系统复杂度，同时为业务系统提供了大数据的存储和计算能力，提高了查询效率，提升了数据流转效率，降低了数据使用成本。

更多金融科技案例和金融数据智能优秀解决方案，请登录数字金融创新知识服务平台-金科创新社案例库、选型库查看。

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

网址：台州银行：基于StarRocks构建极速统一的数据服务平台 http://c.mxgxt.com/news/view/1263068

相关内容

台州银行：基于StarRocks构建极速统一的数据服务平台
让数据分析极速统一！StarRocks和阿里云一起干了件大事
理想汽车 x StarRocks：为 Hive 数据查询插上极速之翼！
StarRocks x Paimon 构建极速实时湖仓分析架构实践
揭秘StarRocks：打造企业级实时数据分析平台
StarRocks 2024 数据技术峰会圆满收官，Lakehouse引领数据技术新趋势
滴滴 x StarRocks：极速多维分析创造更大的业务价值
StarRocks Summit Asia 2024落幕，Lakehouse引领数据技术新趋势
StarRocks数据立方体
StarRocks和帆软软件达成战略合作，助力企业开启“极速统一”数字分析

随便看看