欢迎访问西安市大数据产业协会! 登陆 | 注册
  • 关于协会
    • 协会简介
    • 发展历程
    • 章程制度
    • 入会指南
  • 新闻中心
    • 协会动态
    • 政策速递
  • 会员专区
    • 会员活动
    • 专家委员会
    • 专项工作
    • 会员风采
  • 企业服务
    • 大数据企业认定
    • 企业信息填报系统
    • 大数据行业专家库
    • 大数据问卷调查系统
    • 大数据产学研系统
  • 政策信息
    • 陕西省委网信办
    • 陕西省工业和信息化厅
    • 西安市大数据资源管理局
  • 联系我们
  • 企业名称:西安瀚数科技有限公司
  • 产品、方案名称:StarRocks数据库介绍
  • 发布日期:2022-10-27
  • 行业领域:数据服务  
  • 产品、方案简介:

    1 StarRocks数据库介绍

     

    StarRocks数据库是一款高性能分析型数据仓库,使用向量化、MPP 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks数据库既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。

     

    1.1 产品核心优势

    1.1.1 极速分析体验,实时业务洞察

    MPP 执行框架、全面向量化执行引擎、基于代价的优化器(CBO)为用户提供了极速的任意维度 OLAP 分析和 ad-hoc 查询。

    实时可更新的列式存储引擎保证数据秒级更新可见,为用户提供最实时的业务洞察。

    1.1.2 统一数据驱动,全场景业务赋能

    Ø 统一数据模型

    卓越的单表和多表查询性能,在大宽表、星型模型、雪花模型中均可实现极速分析。

    Ø 统一分析场景

    深耕场景优化,在实时、离线、高并发、ad-hoc 等多种分析场景下均能提供卓越性能

    Ø 统一湖仓。

    对接多种数据生态,不仅可以联邦查询,还可作为数据湖引擎的加速器,提供统一查询服务。

     

    1.2 产品功能

    1.2.1 极速全场景分析引擎,实时查询返回

    Ø MPP 执行框架

    StarRocks数据库采用 MPP(Massively Parallel Processing)分布式执行框架。MPP 执行框架能够使得单个查询请求可以充分利用所有执行节点的资源,从而使单个查询的性能可以随集群的水平扩展而不断提升。

    Ø 全面向量化执行引擎

    StarRocks数据库通过实现全面向量化执行引擎充分发挥了 CPU 的处理能力。其中,数据存储、内存中数据的组织方式,以及 SQL 算子的计算方式,均为列式实现。并且StarRocks数据库通过向量化算法充分利用了 CPU 提供的 SIMD 指令。通过全面向量化引擎,StarRocks数据库将查询性能整体提升了 3—10倍。

    Ø 基于代价的优化器(CBO)

    StarRocks数据库自研的 CBO 针对自有的全面向量化执行引擎进行了深度定制和创新,使StarRocks数据库能比同类产品更好地支持多表关联查询,特别是复杂的多表关联查询,让全面向量化引擎能够发挥极致的性能。

     

    1.2.2 流批一体,实时数据更新

    Ø 多种导入方式

    StarRocks数据库能够支持秒级的导入延迟,提供准实时的服务能力。Apache Kafka、Apache Flink、HDFS 等数据源均可平滑导入。并且,StarRocks数据库能够保证导入数据的原子性生效,并发进行的各个事务相互之间互不影响,对外提供快照隔离(Snapshot Isolation)级别的事务隔离。

    Ø 实时数据更新

    StarRocks数据库支持对数据进行实时、频繁更新,并且支持对部分列的更新操作。通过主键模型,用户可以在不牺牲查询性能的前提下,对数据执行高效地 UPSERT 类操作。目前已经广泛应用于订单状态更新、TP 数据库同步、多流 join 写入宽表等场景。

    Ø 实时数据计算

    StarRocks数据库的聚合表和智能物化视图可以在数据导入时实时完成数据更新计算,无需额外维护。在查询时,StarRocks数据库能够自动将查询改写至适当的物化视图来加速查询,无需额外声明。用户可以按需创建和删除物化视图,灵活满足业务需求。

     

    1.2.3 丰富的大数据生态,湖仓一体

    Ø 数据湖分析

    StarRocks数据库可以作为数据湖的实时查询引擎。StarRocks数据库通过灵活的元数据缓存及同步机制,充分利用向量化引擎的优势,在 Apache Hive、Apache Iceberg、Apache Hudi 外表上提供极速、实时的数据湖分析体验。

    Ø 联邦查询

    StarRocks数据库的 Connector 框架能够支持对各类数据源的联邦查询,包括 MySQL、Elasticsearch、以及如 PostgreSQL 等各类支持 JDBC 接口的数据源。通过StarRocks数据库,无需数据导入与整合,即可对不同数据源的数据进行极速的联合分析,带来全新业务洞见。

    Ø 兼容 MySQL 协议和 MySQL 生态

    StarRocks数据库支持标准 SQL,兼容 MySQL 协议,周边生态接入性良好,可以使用 MySQL 客户端工具及适配各类主流 BI 工具。应用无需或者少量修改代码即可从 MySQL 迁入StarRocks数据库,减少对业务的侵入性。

     

    1.2.4 架构简单,运维便捷

    Ø 在线弹性扩缩容

    StarRocks数据库的架构简洁,整个系统的核心只有 FE、BE 两类进程,不依赖任何外部组件。同时,FE 节点与 BE 节点均支持在线水平扩缩容,帮助用户降低使用成本,也可以按需在线逐步扩容,及时应对流量增⻓。扩容过程中数据自动在节点之间均衡,无需人工干预,避免了复杂的维护过程。

    Ø 金融级高可用

    StarRocks数据库的元数据和物理数据以多副本的形式进行存储,保证元数据多数派节点可用。当节点发生故障时会自动在可用节点上补⻬副本,确保集群稳定性。用户可以按需配置副本的地理位置、数量等策略以满足不同的容灾级别要求,确保在线业务的稳定可用。

    Ø 资源隔离

    StarRocks数据库支持资源组的管理,用户可以限制各类查询任务对计算资源的消耗。通过资源组,不同租户在同一集群内执行的查询任务间能够做到资源隔离、降低影响,并且用户能够更加高效、合理地分配和利用集群资源。

    Ø 可视化管理平台

    StarRocks数据库支持资源组的管理,用户可以限制各类查询任务对计算资源的消耗。通过资源组,不同租户在同一集群内执行的查询任务间能够做到资源隔离、降低影响,并且用户能够更加高效、合理地分配和利用集群资源。

     

    1.3 适用业务场景

    Ø 固定报表业务



    Ø 末端运营业务



    Ø 实时看板业务



    Ø 用户画像业务



    Ø 实时风控业务



    Ø 自助BI业务

     

     

  • 请 登陆 后查看联系方式!

  • 首页
  • 关于协会
    • 协会简介
    • 发展历程
    • 章程制度
    • 入会指南
  • 新闻中心
    • 协会动态
    • 政策速递
  • 会员专区
    • 会员活动
    • 专家委员会
    • 专项工作
    • 会员风采
  • 企业服务
    • 大数据企业认定
    • 企业信息填报系统
    • 大数据行业专家库
    • 大数据问卷调查系统
    • 大数据产学研系统
  • 政策信息
    • 陕西省委网信办
    • 陕西省工业和信息化厅
    • 西安市大数据资源管理局
contact us联系我们邮箱:xabdia@163.com
微信公众号
版权所有:西安市大数据产业协会  联系邮箱:xabdia@163.com  陕ICP备20007848号  网站地图