Инженер компании Hugging Face Жюльен Делаванд представил новый инструмент, который позволяет оценить, сколько электроэнергии расходуется на сообщения в диалогах с чат-ботами. Этот инструмент называется Delavande.
Delavande предназначен для использования с Chat UI, открытым исходным кодом для таких моделей, как Llama 3.3 70B от Meta и Gemma 3 от Google.
Этот новый инструмент способен оценивать энергопотребление при отправке и получении сообщений моделью в реальном времени. Он выражает потребление в ватт-часах или джоулях.
Инструмент также сравнивает энергозатраты модели с потреблением обычных бытовых приборов, таких как микроволновые печи и светодиоды.
Например, по данным инструмента, написание стандартного электронного письма Llama 3.3 70B требует приблизительно 0,1841 Вт·ч. Это соответствует работе микроволновой печи в течение 0,12 секунды или использованию тостера на протяжении 0,02 секунды.
Сообщается, что ИИ-модели расходуют энергию при каждом запуске. Они функционируют на графических процессорах и специализированных чипах, которым необходимо много энергии для выполнения вычислительных задач в больших масштабах.
Точное определение энергопотребления оценить сложно, однако ожидается, что растущее применение технологий ИИ приведет к тому, что потребности в электроэнергии в ближайшие годы достигнут новых уровней.
Кроме того, стремление к повышению мощности для питания ИИ привело к тому, что некоторые компании начали следовать неэкологичным стратегиям. Такие инструменты, как Delavande, направлены на привлечение общественного внимания к этой проблеме и, возможно, заставят некоторых пользователей ИИ задуматься.
Напомним, что согласно исследованию, опубликованному в журнале Nature Computational Science, искусственный интеллект является фактором, способствующим росту электронных отходов в мире. С 2023 по 2030 год объем таких отходов может достичь 5 миллионов тонн «мусора».
Российские ученые разработали чип, не требующий электроэнергии
