StarRocks-金融行业解决方案
数据是金融行业的重要性资产,而数据仓库是金融行业的重要基础设施,在数字化转型过程中发挥着至关重要的作用。作为新一代实时数仓领域的领先者, StarRocks数据库将持续助力银行、基金、证券、保险等领域的产业数字化,充分发挥出数据的价值。
数字化时代下,随着银行业务的不断扩张,数据产生量与数据流量高速增长,业务逻辑越发复杂,很多场景需要有实时数据来辅助完成决策,同时银行对用户需求的响应速度、服务的精准度、用户体验的个性化、数据分析的实时性都提出了更高要求。银行在数字化转型的过程中经常会遇到一些问题:
1. 数据来源复杂:包括银行核心、交易、OA、对公应用、稽核审计、绩效、运营管理等内部数据,以及外部征信、资产质押、法务税务等各外部数据,
跨业务跨系统的复杂的数据源和异构数据大大增加了海量数据的整合、统计分析的难度,同时还存在大量的数据冗余,运维成本高;
2. 分析效率待升级:传统的T+1固定报表模式下业务人员将需求提交给大数据部门进行开发,报表开发工作负荷重,费时费力且响应周期长,严重影响运
营分析的效率,业务人员无法实时洞察业务数据导致决策时效性低,且随总行分行用户和需求数的激增,需要为业务人员提供更为灵活的自助式BI查
询、明细查询、透视分析、多维分析、同时满足高性能高并发的交互式分析能力,以提升查询效率,缩短等待时间,加快分析决策;
3. 经营管理复杂化:随着入口和流量的多元化,用户的消费行为越来越复杂化,对金融产品和服务的需求也越来越个性化,此外内外部监管机构的数据报
送要求不断变化,激烈的市场竞争环境和多变的监管政策对银行数据平台在复杂业务场景下的多维分析处理能力和实时性提出了更高的挑战。
StarRocks数据库作为新一代的全新实时数仓,以强大的实时导入和分析的能力,可灵活应对实时和离线分析的复杂场景,全面助力银行对原有固定报表业务进行极速化查询能力的升级、全面完善的指标平台和面向业务复杂多变的画像标签系统的构建。
1. StarRocks数据库全面兼容 MySQL 协议,并适配大部分主流BI工具,包括帆软 FineBI、永洪BI、SmartBI、奥威等;
2. 提供多种数据建模方式,可以灵活按需使用预聚合、宽表及星型模型以适配不同类型的复杂维度分析和查询,同时还提供了优秀的外表联邦查询能力;
3. 分区分桶功能增加数据指向性,大幅提高集群并发性,支持更多角色的高并发查询;
4. 通过向量化引擎、智能 CBO 等多种优化手段实现极致性能,提供亚秒级查询速度,无论在单表还是多表的查询上,均能提供机制的性能和优秀的并发
能力,相比原固定报表耗时较高的查询相比,平均提速可达数倍;
5. 通过实时聚合模型和物化视图的能力在明细查询的基础上做不同维度的聚合操作,例如在对公实时存贷款报表业务中快速提供并核对总行、分行/支行
及客户的实时存贷款情况,时效性从小时级降到秒级,大幅提升业务人员的服务体验和工作效率。
随着基金业的快速发展,市场规模和业务种类也随之增长,营销线、估值线、交易线、投研线这些核心系统业务量骤增,业务系统和流程的复杂化,让基金公司面临数字化转型的巨大挑战:
1. 营销层面挑战:如何基于用户行为分析和深度洞察(如客户持仓总额、交易总次数、持仓板块类别、持仓偏好、换手频次等),来构建灵活的营销数据
中心,精准掌握清晰的用户画像,进行成本收益估算、客群圈选及精准推送,实现数字化获客、激活和销售转化的高净值高粘性客群积累;
2. 投研能力挑战:用户规模和数据体量的骤增,对投资决策的效率、收益和风险有着更高的要求,如何通过更加精细化的渠道分析、跨产品和业务线的组
合分析,得到更好的获客和转化效果,并改善产品同质化明显等问题;
3. 运营层面挑战:数据源头零散多元化、数据体量骤增等使数据从收集、整合、分析和管理方面面临压力;另外相对于低效的拖拽式报表,如何面向客户
提供更加灵活的自助式分析、动态查询和组合指标计算的能力,给固定收益团队提供实时动态债券评级、年累计收益率、净值、Sharp 比率等关键数
据指标。
1. StarRocks数据库提供 Stream Load、Broker Load、 Routine Load、Spark Load、Insert 等多种数据摄取方式,数据实时摄取,秒级延迟,并支持
以外表方式对多源数据进行联邦查询,高效对接多域多系统数据,对报表类业务的时效性可从小时级提升到分钟级;
2. 通过全面向量化引擎、CBO 等多种优化手段以提供极致查询性能,如在信评系统中传统关系型数据库分钟级才能查出来的结果在StarRocks数据库中
秒级可见,性能提升10倍以上;
3. 支持多种数据建模方式,可使用宽表、预聚合及星型模型来灵活适配复杂维度分析业务;
4. 分区分桶功能增加数据指向性,可以存储和查询更大跨度的数据,大幅提高集群高并发查询的能力;
5. 同时支持离线分析与实时分析,满足多种分析场景需求,实现 OLAP 查询引擎的统一;架构也十分简单,核心组件只有 FE、BE 和具备强大运维管理
能力的 Manager,有效降低开发和运维成本,实现数据价值最大化。
为加快数字经济建设,全面推进银行业和保险业数字化转型,银保监会印发了《关于银行业保险业数字化转型的指导意见》,《指导意见》提出工作目标:到2025年,银行业保险业数字化转型取得明显成效。保险行业在做数字化转型的过程中常会遇到以下几个问题:
1. 数据整合难:业务系统繁多,数据整合难度大,形成了一个个的数据孤岛,分析某个指标时需要到多个系统查询,并进行汇算和多维分析,如做负债管
理量化评估场景,需要汇总资产管理、风险管理、企划、精算财务等多部门数据,报送和开发时间周期长、流程复杂、工作量大、效率低下;
2. 指标体系不完善:很多业务涉及的大量指标,如综合投资收益率、资产配置占比等,各个指标需要进行同比、环比数据对比。但现实中存在很多指标定
义不规范、多头定义、逻辑不统一和孤立呈现等问题,使管理人员难以准确把握业务现状,无法满足管理层基于分析结果快速决策的需求;
3. 业务人员对于灵活的自助BI分析的能力有强需求,数据反馈的快慢也会决定业务⼈员在定位问题、调整策略等事件上是否占据最佳时机,所以对数仓的
要求不仅要对多样化的数据源满足高效批量和实时的数据导入,也需要灵活丰富的BI工具化输出和展示能力;
4. 历史保单数据存放时间久,在周期性的向银保监做监管报送前,需对PB级数据低成本的存储与亿级历史数据做关联分析,对于分析结果也需要快速响
应。
1. StarRocks数据库全面兼容 MySQL 协议,并适配大部分主流BI工具,包括帆软 FineBI、永洪BI、SmartBI、奥威等;
2. 提供 Stream Load、Broker Load、 Routine Load、Spark Load、Insert 等多种导入方式,导入秒级延迟,支持 Shuffle Join,Colocate Join 等多
种分布式 Join 方式,提供高性能多表关联能力,并支持以外表方式对多源数据进行联邦查询,高效对接多源多业务系统的数据;
3. 数据模型灵活,支持多种建模方式,可使用宽表、预聚合及星型模型来灵活适配复杂维度分析业务;
4. FE、BE 架构简单,不依赖外部组件,运维简单,数据自动均衡,集群随业务增长可以很便捷地水平扩展;
5. 主键模型支持 Upsert 操作,可以很好的应对数据实时更新场景,如用户或保单信息的直接插入或快速更新,查询性能可达到友商的数倍;
6. 借助于 Hive、Iceberg、Hudi 等外表功能可打造湖仓一体的架构,历史保单数据可以通过数据湖以低成本的方式进行长久保存,对其中高价值数据可
以高效导入到StarRocks数据库中进行关联查询。
对于金融行业来说,金融服务目前正在由以产品为中心转向以用户为中心。面对不同的用户类型,用户群体的细分就显得非常重要,如有些客户是稳健型投资者,偏好保本收益,有些则是激进型投资者,偏好高风险收益,这样就要为不同用户群体设计不同的金融产品。同样,针对不同年龄段、不同职业、不同偏好的用户,所采取的营销策略也会不一样,这时就可以根据用户属性信息、消费特征、兴趣偏好等来为不同的用户提供不同的产品服务与营销策略。此外,用户画像还可以对对客户做多维度的风险评估以获取客户信用全貌,精准捕捉客户风险要素,对客户风险进行分层管理,并对信贷客户做好风险预警管理、还款能力和还款意愿的精准洞察。用户画像的最终形态是通过分析用户行为,最终为每个用户打上标签以及该标签的权重。金融行业用户画像场景的业务特点如下:
1. 运营人员获取高净值客群平均需一周以上时间,强依赖IT部门,即便通用指标也需要IT重复开发。IT无法有效沉淀数据资产,运营无法进行精准渠道投
放;
2. 从不同数据源中采集事实与维度数据并进行深层次加工,如对海量数据进行拉取和去重操作,提炼出用户标签属性,并根据标签属性,拉取明细数据,
高并发进行针对性的业务推送;
3. 海量的用户数据对数仓引擎的性能和存储能力有很高的要求,在记录和存储数十亿级画像相关数据的过程中,后端数据存储需要能够支撑不断增加的维
度,实现秒级入库与更新;
4. 对数据进行多维度的聚合和分类,不同标签维度组合计算,业务模型灵活,分析维度广泛,需要对不同业务客群进行查询,以支撑精准营销、信贷风险
管理、风险分层和预警等业务。
1. StarRocks数据库提供了能用于精确去重的 Bitmap 数据结构,支持按位计算求交集、并集、差集,可以方便的根据用户ID进行去重,通过
Bitmap_To_Array、Unnest 等函数支持业务上列转行的需求;
2. 通过丰富的行为分析函数,可以轻松实现如留存、漏斗等分析操作;
3. 通过主键模型可以高效完成 Upsert 操作,实现新用户信息直接插入,已有用户信息快速更新;
4. 前缀索引可以加速业务查询,并可根据用户唯一标识快速定位数据;
5. StarRocks数据库还提供了极速实时的高性能多表关联能力和外表联邦查询能力,可以支撑多种数据建模方式,多个维度分析数据,也可联邦查询多源
数据库避免数据孤岛的形成。
请 登陆 后查看联系方式!