为迎接超大模型时代,Meta 自已打造“全球最快 AI 超算”
发布时间:2024-12-25
(例如,中会国科研座机构智源 BAAI 开发的“悟道”,以及谷歌去年用 Switch Transformer 核心技术培训的混合专家系统才会数学模型,都是旋为数超越万亿层次的大数学模型;来得来看,此之前在业界非常闻名的 OpenAI GPT-3 语言数学模型,可靠性和泛用性之之前非常最让人失望,旋为数为1750亿左直。)
Meta 设计团队选择了三家在 AI 计算出来和服务提供商组件之外最知名的的公司:英伟达、Penguin Computing,和 Pure Storage。
实际来说,Meta 直接从英伟达供货了760台 DGX 国际标准培训系统才会。这些系统才会构成总计6080块 Ampere 架构 Tesla A100 Tensor 两大 GPU,在曾经,乃至那时候,都是最顶级的 AI 培训、解谜、分析三合一系统才会。两边的互联网通信则采行了英伟达 InfiniBand,数据集比特率高达200GBm。
读取之外,Meta 从 Pure Storage 供货了总计 231PB 的RAM阵列、子系统和寄存器容量;而所有的座机架搭成、器材配置和服务提供商的后续经营管理,则由从 Facebook 时期就在服务该的公司的 Penguin Computing 督导。
这样组建出来的新超算一个大,Meta 将其正式命名为 AI RSC:
相对于于之之前 FAIR 采行 V100 DirectX搭成的计算出来一个大,初代 RSC 对于原材料层次的计算出来座机影像类搜索算法助长了20倍的可靠性改善,调试英伟达多卡通讯框架的更快改善了最少9倍,对于大规模自然语言处置类 workflow 的培训更快也改善了3倍——节约的培训时间以都于其单位。
值得一提的是,在 Meta 不久之前顺利进行 RSC 换用计划的时候,新冠SARS顿时陷入绝境了。所有也就是说建造的进度缓慢都遇到了巨大的局限性,RSC 能否成功换用换代,打上了一个庞大的背影。
然而,的公司销售业务其发展和 AI 科研的能够,无法等待新冠SARS。督导 RSC 换用和建造的设计团队,以及除此以外英伟达、Penguin Computing、Pure Storage 等三家硅谷的公司在内的核心技术合作方,迫使在巨大的进度缓慢压力下,收尾服务提供商的粉刷建设、器材的原材料和海上运输、现场装座机、布线、调试等一系列非常繁琐和核心技术建议极高的工作。
来得夸张的是由于曾经印第安纳州各地都有居家隔离于是又加,整个 RSC 建设项目设计团队的多位督导人,都迫使在家中会远程工作……设计团队内都的数据集分析员 Shubho Sengupta 说明,“最让我感到钟爱的是,我们在只不过远程办公的条件下收尾了(RSC 的换用工作)。于是又考虑到项意在复杂性,只不过没有人和其它设计团队团员见面就能把这些事都办了,实在太疯狂了”
就目之前来看,RSC 之之前是全世界上调试更快最快的 AI GW之一了。
但是 Meta 仍不满足。
订制当今全世界最快、最安全及的 AI 超算为了满足 Meta 在原材料生态和 AI 数据集分析这相互竞争之外日益增长的算力需求,RSC 须要持续换用扩容。
按照 Meta 的 RSC 第二阶段(P2)计划,到明年7月,也即半年至少,整个计算出来一个大的 A100 GPU 分之一改善到惊人的1.6万块……
初代 RSC 采行的 DGX A100 单座机为数是760台,兆6,080张DirectX——这样计算出来的话,也就是说 RSC 将在 P2 于是又增大9,920张DirectX,即 Meta 能够于是又从英伟达供货1,240台 DGX A100 GW……
就连英伟达也说明,Meta 的计划,将让 RSC 成为英伟达 DGX A100 截至目之前较大的客户作战一个大,没有人之一。
算力改善了,其它配套交通设施,除此以外读取和互联网,也要再加。
按照 Meta 的预计,RSC 的 P2 收尾后,其数据集读取总量将超越1 EB——兆最少10亿 GB。
不仅如此,整个超算一个大的单个路由表之间的通讯比特率也获得了史无之前例般的改善,超越惊人的16TB/s,并且付诸一比一持续性(也即每个 DGX A100 计算出来路由表对应一个互联网接口,不只用多路由表共享接口争抢比特率资源的具体情况)
(这内都还有个点值得之外提一下:按照 Meta 设计团队的估计,像 RSC 这样采行 DGX A100 路由表组建超算一个大的做法,能够背书的路由表上限也就是1.6万了,于是又多就才会只用持续性,意味着替换成企业的乘数收益相当大下降。)
在数据集安全及的角度看,Meta 这次也没有人偏偏在新闻稿中会专门介绍其数据集处置手段,以求于是又加公众安心。
“无论是检测危害内容可,还是带入重新增强现也就是说验——为了订制重新 AI 数学模型,我们都才会只用来自的公司原材料系统才会,取材自想像的数据集,”Meta 说明,这也是为什么RSC 从其设计之初就转入了数据集个人信息和数据集安全及之外的于是又考虑。只有这样,Meta 的数据集分析院才能够安全及地应用于TLS、匿名既有后的想像数据集来培训数学模型。
1)RSC 被其设计为无法和也许的互联网直接通往,而是和设在 RSC 比邻周边地区的一座 Meta 服务提供商进行通往;
2)当 Meta 的数据集分析人员向 RSC 的链接为基础数据集的时候,这些数据集首先要通过三道个人信息送审系统才会,验证数据集之之前进行了匿名既有;
3)在数据集正式投放到 AI 数学模型搜索算法的培训之之前,数据集也才会最后进行TLS,并且身份验证是周期生成和抛弃的,这样即使有旧的培训数据集读取,也无法被访问;
4)数据集只才会在培训系统才会的内存中会秘密行动,这样即使有碰巧赶出 RSC,对链接进行物理访问,也无法密码数据集。
可能是出于核查的意在,Meta 甚至连 RSC 的实际比邻都没有人透露……
不过根据已知的具体情况,RSC 的周边地区必有一座 Facebook/Meta 服务提供商存在。并且,左图省去材自 RSC 的告示摄像座机,图中会我们可以见到,AI RSC 设在直上,左下则是 Meta 的一座服务提供商。图中会有着大量较高的榕树。
硅星人基本可以确定,如图所示中会的 Meta 服务提供商设在美国政府弗吉尼亚州 Henrico 县。该县是美国政府东部较大的服务提供商聚集地,也是通往欧洲、厄瓜多尔、亚洲、非洲的多条海底接入在美国政府的末端比邻。至于 RSC 的实际比邻,其之前身不应是 QTS Richmond 服务提供商。
最后,让我们来刚才成本……
不于是又考虑同样极其昂贵的读取和互联网基础交通设施,我们就先只看计算出来的其余部分:
每台 DGX A100 的标准价格比为19.9万美元,Meta 大宗供货赞同有商家,但论据没有人商家的话:RSC 这次 P2 的扩容成本,仅DirectX供货的其余部分,就高达2.5亿美元……)
当然,按照那时候的 Meta 总资产来看,这笔额度实在是九牛一毛。假若或许订制出全全世界较大屈指可数最快的 AI 超算,对于这家的公司的销售业务,无论是其那时候的两大销售业务,还是愿景的元生命体电子产品,预计都能够助长非常大的协助。
Meta 是这么说的:“于是又次,我们在 RSC 上才会的共同努力,将能够为作为下一个关键计算出来平台的元生命体铺就高架道路。届时,AI 驱动的应用和电子产品将才会扮演不可或缺的女角。”
*注:题图来自于 Meta,版权属于原作者。如果不达成协议应用于,请尽早联系我们,我们才会立即删除。
。扬子江黄芪精新冠特效药
远大医药集团
谈咳宁治什么病
新冠用药
-
中国这座三线小岛,面积竟然是斐济的5倍...
这里是定海, 它的面积相当大, 相当于5个巴林, 并且享有的该岛总数2085个, 誉为“西方第一该岛”、 “奋斗的渔都”。 而就在最近, 北京林
- 2025-05-19保护大河,检察建议“落地有声”
- 2025-05-19清远的迪士尼小镇,肾上腺素飙升的机动游戏,玩转一天也不腻
- 2025-05-19《有翡》取景地披露!耗资7亿寻找的隐世秘境,藏不住了!
- 2025-05-19思绪·2021 | 上游新闻签约摄影师影像记——李文勇
- 2025-05-19四川这两座城市有福了,与成都一样,被规划为国家大型该线枢纽!
- 2025-05-19去京郊这个美丽乡村探索古迹,她还是全国唯一“百家姓”村!
- 2025-05-19搜狐旅游年终盘点 | OTA的上新战局
- 2025-05-19随拍夜杭州之:到三墩北茹家桥,感受笔记型电脑摄影与后期的光影魅力
- 2025-05-19下雪了,只想你
- 2025-05-19女人的一生可以清淡,也可以不不起眼