展会信息港展会大全

IBM全新光学技术可缩短GPU闲置时间,大幅加快AI模型训练速度
来源:互联网   发布日期:2024-12-11 13:03:05   浏览:144次  

导读:IT之家 12 月 11 日消息,IBM 宣布开发出一种新的光学技术,能够以光速训练 AI 模型,同时大幅节省能源。该公司表示,通过将这项突破应用于数据中心,训练一个 AI 模型所节省的能源相当于 5000 个美国家庭一年的能源消耗。该公司解释说,虽然数据中心通过光纤电缆与外部世界连接,但内部仍然使用铜线。这些铜线连接着 GPU 加速器,而 GPU 加速器在等待来自其他设备的数据时会有 ......

IT之家 12 月 11 日消息,IBM 宣布开发出一种新的光学技术,能够以光速训练 AI 模型,同时大幅节省能源。该公司表示,通过将这项突破应用于数据中心,训练一个 AI 模型所节省的能源相当于 5000 个美国家庭一年的能源消耗。

IBM全新光学技术可缩短GPU闲置时间,大幅加快AI模型训练速度

该公司解释说,虽然数据中心通过光纤电缆与外部世界连接,但内部仍然使用铜线。这些铜线连接着 GPU 加速器,而 GPU 加速器在等待来自其他设备的数据时会有大量时间处于空闲状态,同时消耗能量并推高成本。

IBM 高级副总裁兼研究总监 Dario Gil 称:“随着生成式 AI 对更多能源和处理能力的需求,数据中心必须进化,而共封装光学技术(CPO)可以使这些数据中心面向未来。通过这一突破,未来的芯片将像光纤电缆进出数据中心传输数据一样进行通信,从而开启一个更快、更可持续的通信新时代,能够处理未来的 AI 工作负载。”

IT之家注意到,IBM 在一篇技术论文中概述了其新的 CPO 原型。通过显著增加数据中心的带宽,可以最大限度地减少 GPU 的闲置时间,从而加速 AI 处理。IBM 称,大型语言模型(LLM)的训练时间可以从三个月缩短到三周。同时,更高的能源效率将降低能源消耗,并减少与训练 LLM 相关的成本。

赞助本站

相关热词: IBM ai模型 gpu cpo 光学

相关内容
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港