Artificial Intelligence (AI) is being incorporated in several optimization, scheduling, orchestration as well as in native communication network functions. This paradigm shift results in increased energy consumption, however, quantifying the end-to-end energy consumption of adding intelligence to communication systems remains an open challenge since conventional energy consumption metrics focus on either communication, computation infrastructure, or model development. To address this, we propose a new metric, the Energy Cost of AI Lifecycle (eCAL) of an AI model in a system. eCAL captures the energy consumption throughout the development, deployment and utilization of an AI-model providing intelligence in a communication network by (i) analyzing the complexity of data collection and manipulation in individual components and (ii) deriving overall and per-bit energy consumption. We show that as a trained AI model is used more frequently for inference, its energy cost per inference decreases, since the fixed training energy is amortized over a growing number of inferences. For a simple case study we show that eCAL for 100 inferences is 2.73 times higher than for 1000 inferences. Additionally, we have developed a modular and extendable open-source simulation tool to enable researchers, practitioners, and engineers to calculate the end-to-end energy cost with various configurations and across various systems, ensuring adaptability to diverse use cases.


翻译:人工智能(AI)正被整合到多种优化、调度、编排以及原生通信网络功能中。这一范式转变导致了能源消耗的增加,然而,由于传统的能源消耗指标主要关注通信、计算基础设施或模型开发中的单一环节,量化将智能引入通信系统的端到端能源消耗仍是一个未解决的挑战。为此,我们提出了一种新的指标——系统中AI模型的生命周期能源成本(eCAL)。eCAL通过(i)分析各组件中数据收集与处理的复杂性,以及(ii)推导总体及每比特能源消耗,来捕捉在通信网络中提供智能的AI模型在其开发、部署与使用全过程中的能源消耗。研究表明,随着训练好的AI模型被更频繁地用于推理,其每次推理的能源成本会降低,因为固定的训练能耗被分摊到日益增长的推理次数上。通过一个简单案例研究,我们证明进行100次推理的eCAL是进行1000次推理的2.73倍。此外,我们开发了一个模块化且可扩展的开源仿真工具,使研究人员、从业者和工程师能够计算不同配置及跨系统的端到端能源成本,确保其适用于多样化的应用场景。

0
下载
关闭预览

相关内容

时空数据挖掘:综述
专知
34+阅读 · 2022年6月30日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员