业界最大数据湖0故障迁上阿里云!数据量达500PB
发表于2024-11-06 21:23:14
摘要: 原标题:业界最大数据湖0故障迁上阿里云!数据量达500PB 11月6日消息,今天阿里云宣布,小红书技术团队近日完成了一项业界前所未有的壮举,将业界最大

  原标题:业界最大数据湖0故障迁上阿里云!数据量达500PB

  11月6日消息,今天阿里云宣布,小红书技术团队近日完成了一项业界前所未有的壮举,将业界最大数据湖0故障迁移至阿里云。

  作为中国头部互联网公司之一,小红书月活用户已超过3亿,其数据湖存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。

  随着业务的高速增长,小红书对在线处理数据的需求不断增加,同时离线处理所积累的历史问题也提高了切换的难度。

业界最大数据湖0故障迁上阿里云!数据量达500PB

  2023年11月,小红书共有1500人参与迁云项目——计划一年内,把小红书的数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。

  2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。

  在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。

  在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。

  2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

投稿:lukejiwang@163.com
Copyright © 2002-2024 鹿财经网