[Paper] Sustainable AI: AI for sustainability and the sustainability of AI

 

 

https://link.springer.com/article/10.1007/s43681-021-00043-6?

 

s43681-021-00043-6.pdf

0.57MB

 

 

Abstract

While there is a growing effort towards AI for Sustainability (e.g. towards the sustainable development goals) it is time to move beyond that and to address the sustainability of developing and using AI systems. 

In this paper I propose a definition of Sustainable AI; Sustainable AI is a movement to foster change in the entire lifecycle of AI products (i.e. idea gneration, training, re-tuning, implementation, governance) towards greater ecological integrity and social justice. As such, Sustainable AI is focusted on more than AI applications; 

rather, it adresses the whole sociotechnical system of AI. 

I have suggested here that Sustainable AI is not about how to sustain the development of AI per say but it is about how to develop AI that is compatible with sustaining enviromental resources for current and future generations; economic models for societies; and societal values that are fundamental to a given society. 

I have articulated that the phrase Sustainable AI be understood as having two branches; AI for sustainability and sustainability of AI (e.g. reduction of carbon emissions and computing power).

 

Keywords : Sustainable AI, AI ethics, Sustainability, Responsible AI, Sustainable Development

 

지속가능한AI에 대한 정의를 제안하고자 합니다. 지속가능한AI 는 AI제품의 전체 생애주기 (즉 아이디어 생성, 교육, 재조정, 구현, 관리) 에서 생태적 무결성과 사회적 정의를 촉진하기 위한 변화를 추구하는 운동입니다. 따라서 지속가능한AI 는 단순히 AI응용프로그램에만 초점을 맞추는 것이 아니라 AI의 전체 사회기술 시스템을 다룹니다. 

지속가능한AI는 단순히 AI개발을 지속하는 방법에 관한 것이 아니라 현재와 미래 세대를 위한 환경 자원의 보존, 사회적 경제 모델, 그리고 특정 사회의 근본적인 사회적 가치를 유지하는 것과호환되는 AI를 개발하는 방법에 관한 것입니다. 

지속가능한AI 라는 표현은 두 가지 분파로 이해될 수 있다고 제안합니다. 첫째, 지속가능성을 위한 AI (예: 지속가능한 개발 목표 달성을 위한 AI) 둘째, AI의 지속가능성 (예: 탄소 배출 감소 및 컴퓨팅 전력 절감) 

 

Introduction

There is little doubt that Artificial Intelligence (AI) is, and will continue to, transform the world. However, the power for positive change that AI brings holds the possibility for negative impacts on society. The recent explosion of AI, made possible by ever-rising amounts of data and computing power, has given rise to the field of AI ethics - the study of ethical and societal issues facing developers, producers, consumers, citizens, policy makers, and civil society organizations. The first wave of AI ethics focused on what AI might do (e.g., Superintelligence) and amounted to the ethics of fanciful scenarios of robot uprisings. The second wave of AI ethics addressed the practical concerns of machine learning (ML) techniques: the black-box algorithm and the problem of explainability, the lack of equal representation in training and the resulting biases in AI models, and the increase in facial and emotion recognition systems infringing on citizen's rights (e.g., privacy). It is time to usher in the third wave of AI ethics, one that confronts the environmental disaster of our time head-on and actively seeks to engage academics, policy makers, AI developers and the general public with the environmental impact of AI.

인공지능(AI) 이 세계를 변혁하고 있으며 앞으로도 계속 변혁할 것이라는 데에는 의심의 여지가 없습니다. 그러나 AI가 가져오는 긍정적인 변화의 힘은 사회에 부정적인 영향을 미칠 가능성도 내포하고 있습니다. 최근 데이터와 컴퓨팅 파워의 증가로 가능해진 AI의 폭발적인 발전은 AI윤리라는 분야를 탄생시켰습니다. 이는 개발자, 생산자, 소비자, 시민, 정책입안자, 시민 사회 단체가 직면한 윤리적 및 사회적 문제를 연구하는 학문입니다. 

첫 번째 AI윤리의 물결은 AI가 할 수 있는 일 (예: 초지능) 에 초점을 맞추었고, 로봇 반란과 같은 공상적 시나리오의 윤리에 불과했습니다. 두 번째 AI윤리의 물결은 기계학습 (ML) 기술의 실질적인 문제를 다루었습니다. 여기에는 블랙박스 알고리즘과 설명가능성 문제, 교육데이터의 불평등한 대표성으로 인한 AI모델의 편향, 그리고 시민의 권리를 침해하는 얼굴 및 감정 인식 시스템의 증가 (예: 프라이버시) 가 포함됩니다.

이제 AI윤리의 세 번째 물결을 맞이할 때입니다. 이는 우리 시대의 환경 재앙에 정면으로 맞서고, 학계, 정책 입안자, AI개발자, 일반 대중을 AI의 환경적 영향에 적극적으로 참여시키는 것을 목표로 합니다. 

 

This third wave must place sustainable development at its core. While there is a growing movement to direct AI usage towards 'good' uses (i.e., AI4Good), towards the sustainable development goals, for example, it is time to move beyond that and to address the sustainability of developing and using AI systems in and of themselves. A well-known study by Strubell et al. illustrated that the process of training a single, deep learning, natural language processing (NLP) model (GPU) can lead to approx. 600,000 lb of carbon dioxide emissions. Compare this to familiar consumption and you're looking at roughly the same amount of carbon dioxide emissions produced by five cars over the cars' lifetime. Other studies have shown that 'Google's AlphaGo Zero generated 96 tonnes of CO2 over 40 days of research training which amounts to 1000 h of air travel or a carbon footprint of 23 American homes'. In a time when the world must commit itself to reducing carbon emissions, one has to ask if the emissions from algorithms that can play games (or do other menial tasks) is really worth the cost.

이 세 번째 물결은 지속가능한 발전을 핵심에 두어야 합니다. AI를 '좋은' 용도로 사용하는 것 (AI4Good) 이나 지속가능한 개발 목표에 맞추려는 움직임이 증가하고 있지만, 이제는 그 이상으로 나아가 AI시스템의 개발 및 사용 자체의 지속가능성을 다루어야 할 때입니다. 스트루벨 (Strubell) 등의 연구에 따르면 단일 심층 학습 자연어 처리 (NLP) 모델 (GPU) 의 훈련과정에서 약 60만 파운드의 이산화탄소가 배출될 수 있다고 합니다. 이를 일반적인 소비와 비교해 보면, 이는 자동차 5대가 평생 동안 배출하는 이산화탄소 양과 거의 동일합니다. 또 다른 연구에서는 '구글의 알파고 제로 (AlphaGo Zero) 가 40일간의 연구 훈련 동안 96톤의 이산화탄소를 배출했으며 이는 1000시간의 항공 여행이나 23개의 미국 가정의 탄소 발자국에 해당한다' 고 밝혔습니다. 세계가 탄소 배출을 줄이기 위해 전념해야 하는 시점에서, 게임을 하거나 다른 사소한 작업을 수행할 수 있는 알고리즘의 배출량이 그 비용을 정당화할 수 있는지 물어볼 필요가 있습니다.

 

Added to this, AI is not a technology that is restricted to manufacturing or healthcare alone. It promises to be as pervasive as the internet or smartphones. This is a technology for which we cannot afford to ignore the environmnetal costs. For these reasons, I suggest we turn our attention to sustainable AI. I suggest we (AI ethicists) begin a movement towards sustainable AI as a way of connecting the dots between AI (its production, development and usage) and the environment, for the general public, AI developers and policymakers alike.

이와 더불어 AI는 제조업이나 의료분야에만 국한된 기술이 아닙니다. AI는 인터넷이나 스마트폰처럼 널리 퍼질 잠재력을 지니고 있습니다. 우리는 이 기술의 환경적 비용을 무시할 수 없습니다. 이러한 이유료 저는 지속가능한AI 에 주목할 것을 제안합니다. AI윤리학자들이 AI의 생산, 개발 및 사용과 환경을 연결하는 방법으로 지속가능한AI를 향한 운동을 시작할 것을 제안합니다. 이를 통해 일반 대중, AI개발자 및 정책 입안자 모두가 AI의 환경적 영향을 인식하고 이에 대한 책임을 공유할 수 있을 것입니다. 

 

In the following paper, I will outline the concept of Sustainable AI as an umbrella term to cover two branches with different aims and methods; AI for sustainability vs sustainability of AI. I will show that AI for sustainability holds great promise but is lacking in one crucial aspect; it fails to account for the environmental impact from the development of AI. Alternatively, the environmental impact of AI training (and tuning) sits at the core of the sustainability of AI. Sustainability of AI is focused on sustainable data sources, power supplies, and infrastructures as a way of measuring and reducing the carbon footprint from training and/or tuning an algorithm. Addressing these aspects gets to the heart of ensuring the sustainability of AI for the environment. Finally I argue that the study of Sustainable AI is imminently needed with resources directed to its understanding and development. 

다음 논문에서는 지속가능한AI 라는 개념을 두 가지 목표와 방법을 가진 두 가지 분파를 포괄하는 포괄적인 용어로 설명할 것입니다. 첫 번째 분파인 '지속가능성을 위한 AI' 는 큰 가능성을 가지고 있지만, 중요한 한 가지 측면에서 부족합니다. 그것은 AI개발이 환경에 미치는 영향을 고려하지 않는다는 것입니다. 반면에, AI훈련 (및 조정) 이 환경에 미치는 영향은 'AI의 지속가능성' 의 핵심입니다. AI의 지속가능성은 지속가능한 데이터 소스, 전력 공급 및 인프라를 중심으로 하여 알고리즘의 훈련 및 / 또는 조정에서 발생하는 탄소 발자국을 측정하고 줄이는 방법에 초점을 맞추고 있습니다. 이러한 측면을 다루는 것은 환경을 위한 AI의 지속가능성을 보장하는 핵심입니다. 마지막으로 지속가능한AI 연구가 시급히 필요하며 그 이해와 개발을 위해 자원을 투입해야 한다고 주장합니다. 

 

 

 

 

 

 

 

What is Sustainable AI

The term, or phrase, 'Sustainable AI' is in its infancy. In fact, to my knowledge this is the first academic article with the explicit aim to propose a definition of Sustainable AI and to argue for its prominence. To begin, I suggest that 'sustainable AI' is a field of research that applies to the technology of AI (the hardware powering AI, the methods to train AI, and the actual processing of data by AI) and the appliation of AI while addressing issues of AI sustainability and / or sustainable development. I suggest further that Sustainable AI deals not exclusively with the implementation or use of AI but ought to address the entire life cycle of AI, the sustainability of the: design, training, development, validation, re-tuning, implementation and use of AI. 

'Sustainable AI' 라는 용어는 아직 초기 단계에 있습니다. 사실 제가 알기로는 지속가능한AI의 정의를 제안하고 그 중요성을 주장하는 첫번째 학술 논문입니다. 우선 지속가능한AI 는 AI기술 (이를 구동하는 하드웨어, AI를 훈련하는 방법, 그리고 AI가 실제로 데이터를 처리하는 방식) 과 AI응용에 적용되는 연구 분야로, AI의 지속가능성과 지속가능한 개발 문제를 다루는 것을 제안합니다. 또한 지속가능한AI 는 단순히 AI의 구현이나 사용에만 국한되지 않고 AI의 전체 생애 주기를 다루어야 한다고 제안합니다. 즉 AI의 설계, 훈련, 개발, 검증, 재조정, 구현 및 사용의 지속가능성을 모두 포함해야 합니다. 이를 통해 지속가능한AI 는 모든 단계에서 환경적, 사회적, 경제적 지속가능성을 고려하여 AI시스템을 개발하고 사용하는 것을 목표로 해야 합니다.

 

Under this umbrella term, there is a crucial distinction to be made; AI for sustainability versus the sustainability of AI (see Fig. 1). The former branch - AI for sustainability - is somewhat more developed with the well-known not-for-profit organization "AI4Good". In this branch, the goal is to explore the application of AI to achieve sustainability in some manner of speaking, for example, AI and machine leanring (ML) to achieve the United Nations Sustainable Development Goals (SDGs). Here, AI/ML is a tool to make affordable and clean energy, SDG 7 for example, available for a greater segment of the global population. SEeing as approx 600 million people on this planet are currently lacking access to modern electricity this is of course a 'good' goal to have. However, at what cost? It needs to be known that to train or tune (re-fine) and AI/ML model requires a considerable amount of energy and researchers have already posed the question if the "energy spent training a neural network might better be allocated to heating a family's home". Accordingly, Sustainable AI cannot restrict itself to the use of AI for sustainability. 

이 포괄적인 용어 아래에서 중요한 구분이 필요합니다: 지속 가능성을 위한 AI와 AI의 지속 가능성(그림 1 참조). 첫 번째 분파인 지속 가능성을 위한 AI는 잘 알려진 비영리 단체 "AI4Good"과 함께 어느 정도 발전해왔습니다. 이 분파에서는 AI를 사용하여 지속 가능성을 달성하는 것을 목표로 합니다. 예를 들어, AI와 기계 학습(ML)을 활용하여 유엔 지속 가능 개발 목표(SDGs)를 달성하는 것입니다. 여기서 AI/ML은 저렴하고 청정한 에너지를 제공하는 도구로 사용됩니다. 예를 들어, SDG 7은 전 세계 더 많은 사람들에게 깨끗하고 저렴한 에너지를 제공하는 것을 목표로 합니다. 현재 약 6억 명의 사람들이 현대적인 전기에 접근하지 못하고 있는 상황에서 이는 분명 '좋은' 목표입니다. 그러나, 그 비용은 어떨까요? AI/ML 모델을 훈련하거나 조정(재정련)하는 데 상당한 에너지가 필요하다는 점을 인식해야 합니다. 연구자들은 이미 "신경망을 훈련시키는 데 사용된 에너지가 가족의 집을 난방하는 데 더 잘 사용될 수 있을지"에 대해 의문을 제기했습니다. 따라서 지속 가능한 AI는 단순히 지속 가능성을 위한 AI의 사용에만 제한되어서는 안 됩니다.

 

Hence, I propose that sustainable AI encompass another branch of research, this branch is somewhat underdeveloped, under-researched and under-funded. This area deals with assessing the sustability of AI or, the sustainable development of AI/ML itself. Thus, the sustainability of AI is not solely focused on how to apply AI for sustainable banking, energy consumption or healthcare; rather, this branch of sustainable AI is concerned with how to measure the sustainability of developing and using AI models, e.g., measuring of carbon footprints, computational power for training algorithms, etc. To be sure, Sustainable AI must address both of these branches. Put another way, it should be clear that AI for sustainability cannot be achieved without simultaneously addressing the sustainability of AI.

따라서, 저는 지속 가능한 AI가 또 다른 연구 분야를 포함해야 한다고 제안합니다. 이 분야는 다소 개발이 덜 되었고, 연구가 부족하며, 자금 지원도 부족합니다. 이 영역은 AI 또는 AI/ML 자체의 지속 가능한 개발을 평가하는 것과 관련이 있습니다. 따라서 AI의 지속 가능성은 지속 가능한 은행업, 에너지 소비 또는 의료 분야에 AI를 적용하는 방법에만 초점을 맞추는 것이 아닙니다. 오히려 이 분파는 AI 모델의 개발 및 사용의 지속 가능성을 측정하는 것에 중점을 둡니다. 예를 들어, 탄소 발자국 측정, 알고리즘 훈련을 위한 계산 능력 평가 등이 있습니다. 분명히, 지속 가능한 AI는 이 두 가지 분파를 모두 다루어야 합니다. 다시 말해, AI의 지속 가능성을 동시에 다루지 않고서는 지속 가능성을 위한 AI를 달성할 수 없다는 점을 분명히 해야 합니다.

 

What is the sustainable in 'Sustainable AI'?

In an effort to clarify ambiguities found in the abundance of literature on sustainable development, Mensah conducted a systematic literature review on the topic and argues that "the entire issue of sustainable development centres around inter- and intragenerational equity anchored essentially on three-dimensional distinct but interconnected pillars, namely the environment, economy, and society".

지속가능한 개발에 관한 방대한 문헌에서 발견되는 모호성을 명확히 하기 위해, 멘사 (Mensah) 는 이 주제에 대한 체계적인 문헌 리뷰를 수행하고 "지속가능한 개발의 전체 문제는 본질적으로 세 가지 차원의 독립적이지만 상호 연결된 기둥인 환경, 경제, 사회에 기반을 둔 세대간 및 세대 내 형평성을 중심으로 한다" 고 주장합니다.

 

Although first derived from economics, sustainable development has more recently been defined by the World Commission on Environment and Development as "development that meets the needs of the present without compromising the ability of future generations to meet their own needs". As such, sustainable development embodies the tension between innovation with the equitable distribution of resources across society from one generation to the next. 

지속가능한 개발은 처음에는 경제학에서 파생되었지만, 최근에는 세계 환경 개발 위원회에 의해 "미래 세대가 그들 자신의 필요를 충족시킬 수 있는 능력을 훼손하지 않으면서 현재의 필요를 충족시키는 개발" 

 

Further, sustainable development is a "development paradigm as well as the concept that calls for improving living standards without jeopardising the earth's ecosystems or causing environmental challenges such as deforestation and water and air pollution". From this pervasive definition, it has been put forth that sustainable development is a mechanism through which 'society can interact with the environment'. Thus, it is more than a concept but it is also appealed to as a movement of sorts. 

또한 지속가능한개발은 "지구의 생태계를 위태롭게 하거나 산림 파괴 및 수질 및 대기 오염과 같은 환경 문제를 일으키지 않으면서 생활 수준을 향상시킬 것을 요구하는 개발 패러다임이자 개념" 입니다. 이 포괄적인 정의에서 지속가능한 개발은 '사회가 환경과 상호작용할 수 있는 메커니즘' 으로 제시되었습니다. 따라서 이는 단순한 개념을 넘어 일종의 운동으로도 호소되고 있습니다.

 

Sustainable development has also been described as a 'visionary and forward-looking paradigm' with the three pillars upon which the concept of sustainable development rests: economic sustainability, social sustainability, and environmental sustainability. Thus sustainable development embodies not only the tension between innovation and equitable resource distribution but also the tension between serving the needs of the environment, economy and society. 

지속가능한 개발은 '비전있고 미래 지향적인 패러다임' 으로도 묘사되었으며, 지속가능한 개발 개념이 기반을 두고 있는 세 가지 기둥: 경제적 지속가능성, 사회적 지속가능성, 환경적 지속가능성이 있습니다. 따라서 지속가능한 개발은 혁신과 자원의 공정한 분배 간의 긴장뿐만 아니라 환경, 경제, 사회의 요구를 충족시키는 것 간의 긴장도 포함하고 있습니다.

 

Given what we have just read about sustainble development and the literal translation of sustainablilty being "a capacity to maintain some entity, outcome or process over time then what could sustainable AI mean? I suggest that 'sustainable AI' carry with it the complexities of sustainable development as it relates to AI. Thus, sustainable AI must also embody the tension between innovation in AI for sustainable development goals as well as explicitly targeting the sustainability of AI training and usage. Furthermore, I suggest that the global discussion on AI explicitly address, not only human rights and/or ethical issues, but also the tension between serving the needs of the environment, economy, and society. 

지속가능한 개발에 대한 내용과 지속가능성의 문자 그대로의 번역이 "어떤 실체, 결과 또는 과정을 시간이 지나도 유지할 수 있는 능력" 이라는 점을 고려할 때, 지속가능한AI 는 무엇을 의미할 수 있을까요? 저는 '지속가능한AI' 가 AI와 관련된 지속가능한 개발의 복잡성을 내포해야 한다고 생각합니다. 따라서 지속가능한 AI는 지속가능한 개발 목표를 위한 AI혁신과 AI훈련 및 사용의 지속가능성을 명시적으로 목표로 하는 것 사이의 긴장도 포함해야 합니다. 또한 저는 글로벌AI 논의가 인권 및 윤리적 문제뿐만 아니라 환경, 경제, 사회의 요구를 충족시키는 것 간의 긴장도 명확히 다루어야 한다고 제안합니다. 

 

In short, the AI which is being proposed to power our society cannot, through its development and use, make our society unsustainable. This thought should cause us to realize that society's use of AI is a choice. It is not predetermined that AI must be developed and/or used for any and everything; rather, it is a choice that society (e.g., developers, industry leaders, consumers, citizens, policy makers) make. This latter point, against technological determinism, also means that societies must choose carefully about the values they wish to safeguard (e.g., privacy, dignity, fairness, justice) and must work to ensure that AI is not developed in a way that renders those values unsustainable. 

요컨대, 우리 사회를 이끌 AI는 그 개발과 사용을 통해 사회를 지속불가능하게 만들어서는 안됩니다. 이 생각에 AI사용이 선택의 문제라는 사실을 인식하게 합니다. AI는 모든 것에 대해 반드시 개발되고 사용되어야 하는 것이 아니라 사회 (예: 개발자, 산업리더, 소비자, 시민, 정책입안자) 가 선택하는 것입니다. 이러한 관점은 기술 결정론에 반대하며, 사회가 보호하고자 하는 가치 (예: 프라이버시, 존엄성, 공정성, 정의) 를 신중히 선택하고 AI가 이러한 가치를 지속 불가능하게 만들지 않도록 개발되어야 한다는 것을 의미합니다. 

 

 

Environmental sustainability of AI

Renowned AI ethicist Mark Coeckelbergh proposes 'AI for Climate' suggesting that we use AI "for dealing with environmental and climate problems". Given my earlier distinction of sustainable AI, I would label this as AI for sustainability. And while I couldn't agree more, I also believe it is necessary to focus our attention on the sustainability of AI. This change in framing is paramount as it means that one can no longer talk about AI Climate or AI4Good without at the same time addressing the impact that developing a particular AI model will have on environmental sustainability. 

저명한 AI윤리학자 마크 코켈버그 (Mark Coeckelbergh) 는 환경 및 기후 문제를 다루기 위해 AI를 사용하는 'AI for Cliamte' 를 제안합니다. 제가 앞서 구분한 지속가능한 AI의 관점에서 보면 이는 지속가능성을 위한 AI(AI for sustainability) 로 분류할 수 있습니다. 이 제안에 전적으로 동의하지만, 저는 또한 AI의 지속가능성에 초점을 맞추는 것이 필요하다고 믿습니다. 이러한 관점의 변화는 특정 AI모델을 개발하는 것이 환경 지속가능성에 미칠 영향을 동시에 고려하지 않고는 더 이상 AI Climate 또는 AI4Good 에 대해 논의할 수 없음을 의미하기 때문에 매우 중요합니다. 

 

Thankfully there are a select few stuyding and developing AI models who are already bringing attention to the issue and outlining areas in need of further study. In a 2019 paper by Strubell et al., it is argued that there are both financial and environmental costs to Deep Learning (DL) models for natural language processing (NLP). The financial costs were attributed to hardware and electricity or cloud compute time (which raised ethical issues as to who has access to such hardware etc.) whereas the environmental costs were attributed to "the carbon footprint required to fuel modern tensor processing hardware". The authoers acknowledge the energy required to power the hardware for training such models is considerable given that training happens over the course of weeks or even months. 

다행히도 이미 이 문제에 주목하고 추가 연구가 필요한 영역을 명확히 하고 있는 일부 연구자들이 AI모델을 연구하고 개발하고 있습니다. 스트루벨(Strubell) 등은 2019년 논문에 서 자연어 처리 (NLP) 를 위한 딥러닝 (DL) 모델에는 재정적 비용과 환경적 비용이 모두 수반된다고 주장합니다. 재정적 비용은 하드웨어와 전기 또는 클라우드컴퓨팅 시간과 관련이 있었으며 (이로 인해 누가 이러한 하드웨어에 접근할 수 있는지에 대한 윤리적 문제가 제기됨), 환경적 비용은 "현대의 텐서 처리 하드웨어를 가동하는 데 필요한 탄소 발자국" 과 관련이 있었습니다. 저자들은 이러한 모델을 훈련하는 데 필요한 하드웨어를 구동하는데 상당한 에너지가 필요하며 훈련과정이 몇 주 또는 몇 달 동안 지속된다는 점을 인정했습니다. 

 

The authoers also point out that while it is possible to obtain some of the required energy from "renewable or carbon credit-offset resources, the high energy demands of these models are still a concern since (1) energy is not currently derived from carbon-neutral sources in may locations, and (2) when renewable energy is available, it is still limited to the equipment we have to produce and store it, and energy spent training a neural network might better be allocated to heating a family's home". This last point should strike a chord for all of us; as said before, there are approx 600 million people in the world without access to modern electricity and instead of prioritizing the provision of electricitiy to these homes, we are prioritizing the trainig of AI models that can beat the world champion at the game of Go (AlphaGo). It is time for such calculations to be made explicit and to be evaluated in an open forum. 

저자들은 또한 필요한 에너지의 일부를 "재생 가능 에너지나 탄소 크레딧으로 상쇄된 자원" 에서 얻을 수 있다고 지적하지만, 이러한 모델의 높은 에너지 수요는 여전히 우려 사항이라고 합니다. 그 이유는 (1) 많은 지역에서 에너지가 현재 탄소 중립 소스에서 파생되지 않고 있으며, (2) 재생 가능 에너지가 사용 가능한 경우에도 이를 생산하고 저장하는 장비가 제한적이며, 신경망을 훈련하는 데 소비되는 에너지가 가족의 집을 난방하는 데 더 잘 사용될 수 있다는 점 때문입니다. 이 마지막 점은 우리 모두에게 공감을 불러일으켜야 합니다. 앞서 말했듯이, 세계에는 약 6억 명의 사람들이 현대적인 전기에 접근하지 못하고 있으며, 이러한 가정에 전기를 공급하는 것을 우선시하는 대신, 우리는 바둑 세계 챔피언을 이길 수 있는 AI모델 (알파고) 을 훈련하는 것을 우선시 하고 있기 때문입니다. 이제 이러한 계산을 명확하게 공개하고 열린 포럼에서 평가할 때입니다.

 

The Strubbell et al. paper goes on to show that 'tuning' (aka re-purposing or refining) an AI model is more expensive than training a model to begin with. This kind of finding is crucial for the policy makers to understand to make decisions concerning the proportionality of certain AI methods compared with its intended application. Meaning, it is time for policy makers to govern AI at a more detailed level and suggest that certain methods, for example tuning a deep learning NLP model, should not be permitted for ethically charged tasks like recruitment of new employees or prediction of employees who may be on the verge of quitting. The reason being that the costs to environmental sustainability are simply too great to justify such a menial (not to mention ethically problematic) application. This could also cause society to pause when a particular AI model will be used in an application context which will require constant tuning. As society evolves in its communication, transportation, and social habits, old AI models will need constant tuning to continue to be effective. These costs must be added to any proportionality calculation. 

Strubell 등은 논문에서 AI모델을 튜닝 (재목적화 또는 정제) 하는 것이 처음 모델을 훈련하는 것보다 더 비용이 많이 든다고 보여주고 있습니다. 이러한 발견은 정책 입안자들이 특정 AI방법의 비례성을 그 의도된 응용과 비교하여 결정하는 데 있어 중요한 이해를 제공해줍니다. 즉, 정책 입안자들이 더 세밀한 수준에서 AI를 관리하고 예를 들어 딥러닝 자연어 처리 (NLP) 모델을 튜닝하는 방법이 신규 직원 채용이나 퇴사할 가능성이 있는 직원 예측과 같은 윤리적으로 민감한 작업에 허용되지 않도록 제안해야 할 때입니다. 그 이유는 환경 지속 가능성에 대한 비용이 그러한 사소한 (윤리적으로 문제를 일으킬 수 있는) 응용을 정당화 하기에는 너무 크기 때문입니다. 이로 인해 특정 AI모델이 응용환경에서 지속적인 튜닝을 필요로 할 때 사회가 한 번 더 신중하게 고려하게 될 것입니다. 사회가 의사소통, 교통, 사회적 습관에서 진화함에 따라 오래된 AI모델은 계속해서 효과를 유지하기 위해 끊임없는 튜닝이 필요할 것입닏다. 이러한 비용은 모든 비례성 계산에 포함되어야 합니다. 

 

One of the final recommendations from Strubbel et al., is that "authors should report training time and sensitivity to hyperparameters" as "this will enable direct comparison across models" (Strubell, Ganesh, and McCallum 2019, 5). To date, there are two possible tools available for calculating emissions: the 'Machine Learning Emissions Calculator' for estimating the carbon footprint of GPU compute through specifying hardware type, hours used, cloud provider, and region, Anthony et al.; and, the 'experiment-impact-tracker' framework 'for tracking real-time energy consumption and carbon emissions, as well as generating standardized online appendices". Each of these approahces aims at the 'mitigation of carbon emissions and reduction of energy consumption' to facilitate the sustainable development of ML. 

Strubell 등에서 제안한 최종 권장 사항 중 하나는 '저자들이 훈련 시간과 하이퍼파라미터에 대한 민감도를 보고해야 한다' 는 것입니다. 이는 '모델 간의 직접적인 비교를 가능하게 할 것' 입니다. 현재까지 배출량을 계산할 수 있는 두 가지 도구가 있습니다. 첫 번째는 'Machine Learning Emissions Calculator' 로 하드웨어 유형, 사용 시간, 클라우드 제공업체 및 지역을 지정하여 GPU 컴퓨팅의 탄소발자국을 추정하는 도구입니다. 두번째는 'experiment-impact-tracker' 프레임워크로 실시간 에너지 소비와 탄소 배출을 추적하고 표준화된 온라인 부록을 생성하는 도구입니다. 이러한 접근법은 모두 '탄소 배출 완화와 에너지 소비 감소' 를 목표로 하여 ML의 지속가능한 개발을 촉진하는 것을 목적으로 합니다.

 

If we recall from the introduction, studies have shown that 'Google's AlphaGo Zero generated 96 tonnes of CO2 over 40 days of research training which amountsto 1000 h of air travel or a carbon footprint of 23 American homes'. Or, training one large NLP model (aka a transformer), with neural architecture search, resulted in over 600,000 CO2e(lbs) , roughly the equivalent of carbon emissions of five cars (over the lifetime of the car). These numbers are overwhelming to read. What's worse is that we have only a few studies to call on to learn numbers like this. In other words, we need more studies to fully grasp the extent to which these findings can be supported or refuted. With tools like the 'machine learning emissions calculator' and the 'experiment-impact-tracker' this should no longer be the case. This means the tools to track carbon emissions are there, however, greater incentives are needed to encourage researchers and industry developers to measure and report such findings. 

서론에서 언급했듯이, 연구에 따르면 구글의 Alphago Zero 가 40일 동안의 연구 훈련 동안 96톤의 CO2를 배출했으며, 이는 1000시간의 항공 여행 또는 23개의 미국 가정의 탄소 발자국과 같다' 고 합니다. 또는 하나의 대형 NLP 모델 (즉, 트랜스포머) 을 신경망 아키텍처 검색을 통해 훈련시키는 것은 60만 파운드 이상의 CO2e (탄소 배출량)를 초래했으며, 이는 대략 자동차 5대의 수명 동안의 탄소 배출량과 같습니다. 이러한 숫자는 읽기에도 압도적입니다. 더욱 심각한 것은, 이러한 숫자를 알 수 있는 연구가 몇 가지 밖에 없다는 것입니다. 즉, 이러한 결과를 완전히 이해하고 뒷받침하거나 반박할 수 있는 더 많은 연구가 필요합니다. 'Machine Learning Emissions Calculator' 와 'experiment-impact-tracker' 와 같은 도구를 사용하면 더 이상 이러한 상황이 지속되지 않을 것입니다. 즉 탄소배출을 추적할 수 있는 도구는 이미 존재하지만 연구자와 산업 개발자가 이러한 결과를 측정하고 보고하도록 장려하기 위한 더 많은 인센티브가 필요합니다. 

 

Buidling on the work of Henderson et al., Anthony et al. propose 'carbontracker', "a tool for tracking and predicting the energy consumption and carbon emissions of training DL models". Not only does the 'carbontracker' tool allow for the geneation of carbon impact statements but it also allows for the model training to be "stopped, at the user's discretion, if the predicted environmental cost is exceeded". Thus, the 'carbontracker' provides the possibility that if a training exceeds a responsible use of energy consumption, or generation of carbon emissions, training of the model can be stopped. Again, this is the kind of tool that should be known to policy makers to create governance mechanisms for limiting the amount of carbon emissions, with the tools to end the training when emissions reach an unacceptable threshold. 

Henderson et al. 의 연구를 기반으로 Anthony et al. 은 딥러닝 (DL) 모델 훈련의 에너지 소비와 탄소 배출을 추적하고 예측하기 위한 도구 인 carbontracker 를 제안합니다. carbontracker 도구는 탄소 영향 보고서를 생성할 수 있을 뿐만 아니라 사용자가 예상되는 환경비용을 초과하면 모델 훈련을 중단할 수 있게 합니다. 따라서 carbontracker 는 에너지 소비나 탄소 배출이 책임 있는 사용을 초과할 경우 모델 훈련을 중단할 수 있는 가능성을 제공합니다. 이 도구는 정책입안자들이 탄소배출량을 제한하기 위한 거버넌스 메커니즘을 만들고 배출량이 허용되지 않는 수준에 도달했을 때 훈련을 종료할 수 있는 도구로써 알려져야 합니다.

 

In short, while the use of AI for achieving sustainability is to be applauded there are many reasons for which the environmental costs of AI, the sustainability of AI, need to be studied and made transparent to the AI community, comsumers, and policy makers. More to the point, "the carbon emissions that occur when training DL models are not irreducible and do not have to simply be the cost of progress within DL" 

요컨대 지속가능성을 달성하기 위한 AI의 사용은 칭찬받을 만하지만 AI의 환경적 비용 즉 AI의 지속가능성에 대해 연구하고 AI커뮤니티, 소비자, 정책입안자에게 투명하게 공개해야 할 많은 이유가 있습니다. 더 나아가 딥러닝 모델을 훈련할 때 발생하는 탄소배출은 줄일 수 없는 것이 아니며 DL의 발전 비용으로 단순히 받아들여져야 하는 것도 아닙니다.

 

 

 

 

 

 

Towards Sustainable AI

Distinguished authoers such as Klein write about the dangers of climate change and the need for consumer and industry habits to change. Climate activists such as Greta Thunburg work tirelessly to raise awareness of the need for systematic political reform to repair the damage to our planet. Politicians are taking note and acting. The European Commision has enacted 'A European Green Deal' and the United States has re-joined the Paris Climate Agreement with plans for greater commitments to tackle climate change. Envionmental resilience is a global issue at the heart of many policy and industry decisions so why not at the heart of every AI ethics discussion, or every AI discussion, period? While the world argues over which principles to adopt, out of more than 200 sets of AI ethics principles, large tech companies are increasing their use of computational power and are increasing their demand for data and its storage in data centres across the world that require energy and cooling systems. 

저명한 저자들인 클라인(Klein) 은 기후 변화와 위험과 소비자 및 산업습관의 변화 필요성에 대해 글을 씁니다. 그레타 툰베리 와 같은 기후 활동가들은 우리 행성의 손상을 복구하기 위한 체계적인 정치 개혁의 필요성을 알리기 위해 끊임없이 노력하고 있습니다. 정치인들은 이를 주목하고 행동하고 있습니다. 유럽 연합 집행위원회는 '유럽 그린 딜(A European Green Deal)' 을 제정하였고, 미국은 파리 기후 협정에 재가입하여 기후변화를 해결하기 위한 더 큰 약속을 계획하고 있습니다. 환경 회복력은 많은 정책 및 산업 결정의 핵심에 있는 글로벌 문제이므로 왜 모든 AI윤리 논의의 중심, 혹은 모든 AI논의의 중심에 있지 있지 않겠습니까? 세계가 200개 이상의 AI윤리 원칙 중 어느 것을 채택할 것인지 논쟁하는 동안 대형 기술 회사들은 계산능력사용을 늘리고 있으며 전세계의 데이터 센터에서 에너지와 냉각 시스템을 요구하는 데이터의 저장수요를 증가시키고 있습니다.

 

At the time of this paper, early 2021, it is unquestionable that any pervasive global production of products (or innovation) demands attention for its impact on the environment. Mass farming has shown to have an impact on biodiversity; mass clothing production has shown to have an impact on the water supplies of the world; and, electronic waste has shown to leak chemicals and poison into the water and soil where it is dumped (often in poorer countries). If we are to believe the promises from industry and policy makers, that AI/ML will be used on a global scale across, then AI/ML promises to be pervasive across sectors. Already we see applications to aid medical practitioners in their diagnoses, to assist legal officials in their judgements, to assume a portion of tasks in human resources for recruiting new employees. The list goes on and on. Hence, this is not a technology that we can afford to ignore the environmental impacts of. When it comes of AI, attention to the environmental impact is mandatory. 

이 논문이 작성된 2021년 초 현재, 전 세계적인 제품 생산(또는 혁신) 이 환경에 미치는 영향에 주의를 기울여야 한다는 것은 의심의 여지가 없습니다. 대량 농업은 생물 다양성에 영향을 미치는 것으로 나타났고, 대량 의류 생산은 세계 물 공급에 영향을 미치는 것으로 밝혀졌으며 전자 폐기물은 화학물질을 누출하고 폐기된 지역 (종종 가난한 국가) 의 물과 토양을 오염시키는 것으로 드러났습니다. 산업계와 정책 입안자들이 AI/ML 이 전 세계적으로 사용될 것이라고 약속하는 것을 믿는다면 AI/ML 은 여러 부문에서 광범위하게 사용될 것입니다. 이미 의료진이 진단을 돕고 법률 담당자의 판단을 지원하며 인사 업무의 일부를 맡아 신입 직원을 채용하는 등의 용도로 활용되고 있습니다. 이러한 사례는 계속 늘어나고 있습니다. 따라서 우리는 이 기술의 환경적 영향을 무시할 수 없습니다. AI에 관해서는 환경적 영향에 대한 주의가 필수적입니다.

 

To do this, first, AI must be conceptualized as a social experiment conducted on society . This is a technology we still have much to learn about. With the experimental nature of AI made explicit it is then imperative that ethical safeguards are put in place to protect people and planet. 

이를 위해 먼저 AI를 사회에 대한 사회적 실험으로 개념화해야 합니다. 이는 우리가 아직 많이 배워야 하는 기술입니다. AI의 실험적 성격을 명확히 하는 것은 사람과 지구를 보호하기 위한 윤리적 안전장치를 마련하는 것이 필수적임을 의미합니다.

 

Second, we need sustainable AI taskforces in governments who are actively engaged in seeking out expert opinions of the environmental impact of AI. From this, appropriate policy to reduce emissions and energy usage can be put into effect. Governance schemes to facilitate sustainable develpoment of AI should be required to provide carbon emissions reports for all training and tuning of AI systems; and, funding directed to SMes actively pursuing sustainable AI innovation - and not just AI for sustainability but the sustainability of AI approaches. 

둘째, 정부 내에 지속가능한 AI 태스크포스를 구성하여 AI의 환경적 영향에 대한 전문가 의견을 적극적으로 구해야 합니다. 이를 통해 배출량과 에너지 사용을 줄이기 위한 적절한 정책을 시행할 수 있습니다. AI의 지속가능한 개발을 촉진하기 위한 거버넌스 체계는 AI시스템의 모든 훈련 및 튜닝에 대한 탄소배출 보고서를 제공하도록 요구되어야 하며, 지속가능한AI혁신을 적극적으로 추구하는 중소기업 (SME) 에 자금을 지원해야 합니다. 이는 단순히 지속가능성을 위한 AI뿐만 아니라 AI접근방식의 지속가능성을 포함해야 합니다. 

 

Third, publicc aand private Institutions, for example the European Commision as part of their regulatory options for AI, should create a 'proportionality framework' to assess whether training or tuning of an AI model for a particular task is proportional to the carbon footprint, and general environmental impact, of that training and/or tuning. This is especially true with AI projects used by the state. We must require tech companies developing (training re-training) AI models to use tools such as the 'Carbon Tracker' proposed by Anthony et al not only to track the carbon footprint of training a certain model but to predict the carbon footprint of training a certain DLM so as to stop model training if the predicted environmental cost is exceeded. 

셋째 유럽연합 집행위원회와 같은 공공 및 민간 기관은 AI에 대한 규제 옵션의 일환으로 비례성 프레임워크를 만들어 특정 작업을 위한 AI모델의 훈련 또는 튜닝이 해당 훈련 및/또는 튜닝의 탄소 발자국과 일반적인 환경적 영향에 비례하는지를 평가해야 합니다. 특히 국가에서 사용하는 AI프로젝트에 이 프레임워크가 적용되어야 합니다. 기술회사가 AI모델을 개발 (훈련 및 재훈련) 할 때, Anthony 등에서 제안한 Carbon tracker 와 같은 도구를 사용하여 특정 모델을 훈련할 때의 탄소 발자국을 추적할 뿐만 아니라, 특정 딥러닝 모델 (DLM) 을 훈련할 때 예상되는 탄소 발자국을 예측하고, 예상 환경 비용이 초과되면 모델 훈련을 중단하도록 요구해야 합니다. 

 

 

Conclusion

In this paper I propose a definition of Sustainable AI; Sustainable AI is a movement to foster change in the entire lifecycle of AI products (i.e., idea generation, traning, re-tuning, implementation, governance) towards greater ecological integrity and social justice. As such, Sustainable AI is focused on more than AI applications; rather, it addresses the whole sociotechnical system of AI. I have suggested here that Sustainable AI is not about how to sustain the development of AI per say but it is about how to develop Ai that is compatible with sustaining environmental resources for current and future generations; economic models for societies; and societal values that are fundamental to a given society. 

이 논문에서 저는 지속가능한 AI의 정의를 제안합니다. 지속가능한AI는 AI제품의 전체 생애주기 (즉, 아이디어 생성, 훈련, 재조정, 구현, 거버넌스) 에서 더 큰 생태적 무결성과 사회적 정의를 촉진하기 위한 운동입니다. 따라서 지속가능한AI는 단순한 AI응용프로그램에 초점을 맞추는 것이 아니라 AI의 전체 사회기술 시스템을 다룹니다. 저는 여기서 지속가능한AI가 단순히 AI개발을 지속하는 방법이 아니라 현재와 미래 세대를 위한 환경 자원을 지속할 수 있는 방식으로 AI를 개발하는 방법, 사회를 위한 경제모델 , 그리고 특정사회의 근본적인 사회적 가치를 유지하는 방법에 관한 것임을 제안했습니다.

 

I have articulated that the phrase Sustainable AI be understood as having two branches; AI for sustainability and sustainability of AI. The former has received a great deal of attention in recent years, the latter appears to be a hidden part of the development process. 

저는 지속가능한AI 라는 표현이 두 가지 분파를 가지고 있음을 이해해야 한다고 명확히 했습니다. 하나는 지속가능성을 위한 AI이고 다른 하나는 AI의 지속가능성 입니다. 전자는 최근 몇 년간 많은 관심을 받았지만, 후자는 개발 과정에서 숨겨진 부분인 것처럼 보입니다. 

 

I proposed that Sustainable AI takes sustainable development at the core of its definition with three accompanying tensions between AI innovation and equitable resource distribution; inter and intra-generational justice; and, between environment, society, and economy. This paper is not meant to engage with each of the three pillars of sustainability (i.e., social, economic, environment), and as such the pillars of sustainable AI. Rather, this paper is meant to inspire the reader, the policy maker, the AI ethicist, the AI developer to connect with the environment - to remember that there are environmental costs to AI 

저는 지속가능한AI 가 지속가능한 개발을 정의의 핵심으로 삼고 AI혁신과 공정한 자원분배, 세대 간 및 세대 내 정의, 그리고 환경, 사회, 경제 간의 세 가지 긴장을 동밚나다고 제안했습니다. 이 논문은 지속가능성의 세 가지 긴둥 (즉, 사회적, 경제적, 환경적 기둥) 각각에 대해 논의하는 것이 목적이 아닙니다. 대신 이 논문은 독자 , 정책 입안자, AI윤리학자, AI개발자가 환경과 연결되고, AI가 환경에 미치는 비용을 기억하도록 영감을 주는 것을 목표로 합니다.