/
/
/
GBASE助力山东移动大数据平台PB级数据主仓业务跨机房无感知迁移

GBASE助力山东移动大数据平台PB级数据主仓业务跨机房无感知迁移

 

(南大通用消息)近日,山东移动完成了PB级数据仓库跨机房的搬迁及扩容,项目实施做到了业务应用的代码零改动,通过修改JDBC的连接串,重启服务就完成了系统割接,真正意义上做到了经分大数据数据主仓完全业务无感知的跨数据中心搬迁工作,目前扩容后系统已良好运行超过30天。

2012年7月开始山东移动经分系统开始采用GBase 8a MPP数据库对DB2进行全面替换,经过几期建设,2020年逐步建成大数据开放运营平台,通过MPP数据库服务能力为大数据平台数据对内对外服务提供助力。随着承载量的剧增,2021年开始云经分数据主仓的72节点集群存储超过90%,存储长时间高水位可能引发频繁的硬件故障,同时数据库整体性能也会有所下降,这就要求运维团队随时监控集群情况,一方面是运维投入的增加,一方面是影响新的业务开发,所以集群扩容成为亟待解决的问题。

山东移动第五数据中心是省公司最早建设的数据中心之一,目前已饱和使用,无剩余空间用于业务扩容,所以只能将大数据平台进行跨机房搬迁和扩容。经分大数据主仓库PB级的数据量、15万张的表、每日库内超过3000个作业以及日加工时间超过16个小时等客观情况都为迁移工作带来巨大挑战。

经过周密计划,GBASE制定了2步骤的搬迁扩容方案:基于GBase 8a镜像集群实现数据复制,进行机房搬迁;其次是对搬迁完成后的集群进行节点扩容,提升大数据平台的存储容量及计算能力。

最终通过7天时间的数据重分布完成了PB级数据由72节点到158节点的扩容工作,目前扩容后系统已良好运行超过30天。

通过GBase 8a MPP V95版本的虚拟集群功能,在虚拟集群中将两个同样规模和数据分布策略的子集群建立镜像关系来构建实时数据复制,可以构建大数据业务平台实时双活的容灾方案。

通过山东移动大数据平台主数据仓库的成功迁移,验证了通过虚拟集群搭建双活或容灾架构的可行性,为其他预计搭建双活或容灾集群的省公司积累了丰富经验,也证明了GBase 8a MPP的产品力和南大通用的自主研发能力,为进一步助力中国移动数字化全面转型添砖加瓦。

这是描述信息

地址:北京市石景山区石景山路23号院16号楼五层        电话:010-68640013、68640027         传真:010-68640013          邮箱:office@ciita.org.cn

版权所有 @1990-2021  中国信息产业商会          京ICP备14010836号          技术支持:新网