打破人工智能能源壁垒:热力学计算的兴起

打破人工智能能源壁垒:热力学计算的兴起热力学计算机具有通过最小化能源和最大化现场效率来改变人工智能和机器学习的潜力。

图片由DALL·E 3提示

A

根据世界经济论坛的报告,当今传统计算机维持人工智能(AI)革命所需的计算能力大约每100天翻一番。要实现 AI 模型效率的十倍提升,计算能力需求可能增加高达10,000倍。运行 AI 任务所需的能源正在加速增长,年增长率在26%36%之间。这意味着到2028 年,AI 消耗的电量可能超过整个冰岛在2021 年消耗的电量。¹

美国数据中心的电力消耗增长(千兆瓦)。²

美国数据中心的电力消耗增长(千兆瓦)。²

我们从当今使用的大多数数字设备中了解到的传统计算机是基于经典计算原理和系统运行的,这些原理和系统围绕着我们所知的诺伊曼架构构建而成。从本质上讲,这种架构将存储数据的内存单元与执行二进制运算的处理器单元分开。这种设计有四个重要特点,可以平衡其优点和缺点:

  • 使用二进制逻辑),其中每个要么是0要么是1
  • 确定性和算法操作,根据输入具有可预测的结果。
  • 由于不可逆操作本身会产生热量,因此会消耗大量能源,尤其是在高处理能力下。
  • 一方面是高可扩展性,另一方面是摩尔定律的物理极限。随着晶体管达到原子尺寸,较小尺寸下过热和能源效率低下等问题大大限制了其扩展。

从日常经验中我们知道,这种经典架构可能对广泛的任务非常有效;然而,它也面临着物理和实际的限制。存在结构限制,如冯·诺依曼瓶颈,其​​中处理器单元和内存之间的数据传输速度成为整个系统运行的限制因素。但随着系统散热和能耗的增加,还会出现一系列热力学限制。因此,传统架构在不同规模上遇到不同的热力学限制。

电视

这就是热力学计算机(TC) 发挥作用的地方。与传统计算机相比,它们代表了一种创新架构,将热力学原理直接集成到计算硬件和过程中。当操作本身可以映射到热力学过程时,这一点尤其有用,例如在优化、机器学习 (ML) 或 AI 应用中,其中能量或熵等潜力被模拟或最小化。热力学计算机旨在利用物理系统的自然行为来实现能量最小化和熵产生作为计算手段。这种将热力学算法内置到热力学计算机硬件中可以克服传统计算机在各种情况下的某些限制。

热力学计算系统的概念示意图。

热力学计算系统的概念示意图。⁴

例如,想象一下,在机器学习任务中,熵被用作分类问题的概念。术语“熵”隐喻性地指数据集中的不确定性或杂质的度量。在这种情况下,最小化熵可以与最大化信息增益相一致——这意味着,使数据或预测尽可能确定或“纯粹”。在传统计算机中,我们会编写一个算法并在涉及训练数据集的机器上运行它,该机器在物理上以硅基二进制系统运行。如果大规模扩大这种实现,将导致能源消耗和损失呈指数级增长。这种消耗和损失的很大一部分是因为我们实现并将热力学机器学习模型转换为硅基二进制模型。然而,与传统计算机不同,使用真正基于物理热力学过程的架构将消除这种昂贵的转换的需要。因此,热力学计算机的主要特征完全不同,并且更适合任何半热力学模型计算的应用,例如在机器学习和人工智能中:

  • 热力学计算机可以利用自然热力学过程,例如在生物系统中观察到的过程,与传统的硅基计算机相比,其能源效率更高。⁴ ⁶
  • 与传统计算机的确定性不同,热力学系统可以随机(概率)运行,利用随机性和波动作为计算的资源。⁷
  • 此类系统提供的操作在物理和逻辑上都是可逆的,也就是说,具有最佳的最小耗散。因此,它们有效地将能耗降低到热力学极限定义的理论最小值。⁸
  • 在热力学计算中,物理介质与计算之间的关系是模拟的,不需要进行广泛的算法转换为二进制。这是因为系统的物理动力学直接用于计算目的。⁴ 

热力学计算系统演变的概念图。

热力学计算系统演变的概念图。⁴

TC 架构(上图左)被认为是网络中连接的节点阵列。每个节点可以假设各种状态/功能,网络中的连接可以随着 TC 的发展而适应。TC 连接到外部环境,该环境将要解决的“问题”表示为驱动网络演进的潜力集合。(上图左中)程序员可以修复某些节点(以白色显示)和连接的状态/功能,以限制网络的发展和/或帮助定义问题。(上图右中)不受约束的节点(以灰色显示)随着网络发展到低能量配置而波动,这种配置可以有效地在外部潜力之间传输能量。(上图右)如果环境稳定并收敛到“解决方案”,网络可能会停止波动,但如果环境不断变化,网络也可能反复波动并稳定到不同程度。⁴

热力学计算特别适用于动态和复杂系统,传统方法在这些系统中效率低下或不可行。这包括神经网络、模式识别和系统生物学、优化、机器学习任务和人工智能等领域。⁴ ⁵ ⁶此类系统天生就擅长探索复杂的能源格局,这使得它们对于优化问题和机器学习应用非常有用,因为潜在的解决方案可以表示为此类格局内的状态

按波动尺度划分的三大计算领域。

按波动规模划分的三大计算领域。⁴

西

虽然这项技术确实很有前景,但仍有不同的挑战需要克服。与量子计算类似,热力学计算仍主要处于实验和开发阶段,需要大量研究才能实现实用且可扩展的系统。⁴ ⁶另一方面,构建在热力学计算原理下有效运行的设备涉及创新材料和制造复杂性 这些仍在研究中解决。³ 

传统计算机目前是我们全球计算基础设施的支柱。但热力学计算提供了一种有前途的未来替代方案,它有可能克服现有技术在能源效率和处理复杂动态系统的能力方面的一些根本限制。

给TA打赏
共{{data.count}}人
人已打赏
AI新闻

为什么说AI健康技术将成为太空探索的未来

2024-5-31 16:16:13

AI推荐AI新闻

新的人工智能时代:Agentic AI

2024-6-1 22:30:15

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索