Telegram Group & Telegram Channel
В новом интервью Цукерберга меня заинтересовало, как он несколько раз мечтательно говорит, что рано или поздно кто-то наконец построит data-центр для тренировки ИИ с мощностью в 1 гигаватт — по сути, сделает целый ядерный реактор батарейкой для одной нейросети.

Еще недавно основной метрикой ИИ было количество параметров нейросети, исчислявшееся миллионами, а затем и миллиардами. Когда количество параметров начало приближаться к триллиону, тренд поменялся: теперь нейросеть Цукерберга нового поколения Llama 3 с 7 млрд параметров работает лучше, чем Llama 2 с 70 млрд. Меряться количеством параметров больше не актуально.

Теперь главной метрикой ИИ постепенно становится энергия.

CEO OpenAI Сэм Альтман утверждает, что будущее ИИ полностью зависит от развития сферы энергетики. Нейросети работают на полупроводниках (процессорах), которые потребляют громадное количество электричества. Для прогресса в ИИ нужно скармливать ему все больше процессоров, а для них нужно все больше энергии. Еще недавно все считали, что прогресс ИИ упрется в невозможность производить достаточное количество процессоров — но нет, теперь все упирается в электричество, которое питает эти процессоры в дата-центрах.

Сегодня средний дата центр, необходимый для тренировки и поддержания ИИ, потребляет от 50 до 100 мегаватт, крупный — 150 мегаватт. Чтобы ИИ в нынешнем его виде вышел на принципиально новый уровень, по мнению Цукерберга, нужно строить дата-центры уже на 300-500 мегаватт, а сам он, кажется, мечтает о 1000 мегаваттном (1 гВт) ИИ-комплексе.

И тут мы упираемся в очень интересную ситуацию. Энергия в нашей цивилизации принадлежит правительствам. Даже если не правительство ее производит и распределяет, все равно именно оно регулирует законами все, что с ней связано, и без его разрешений никакие серьезные добыча и распределение невозможны. Дальше — еще интереснее. Наибольшим количеством энергии в наше время распоряжаются автократические и тоталитарные режимы, например, путинская РФ.

Одна ЗАЭС, крупнейшая электростанция Европы, которую путинские войска отобрали у Украины, способна генерировать сразу 6 гигаватт — в шесть раз больше, чем в фантазиях Цукерберга. То есть потенциально РФ, в худшем случае, или монархии Персидского залива в лучшем, могут в обозримом будущем перещеголять США и Европу в развитии ИИ просто за счет того, что смогут пустить на это дело больше энергии. Пикантность ситуации заключается в том, что им даже не придется изобретать велосипед и создавать нейросети с ноля. Им даже красть ничего не придется: они просто возьмут open-source модели того же Цукерберга и продолжат развивать их на базе своей электрогенерации.

Хорошо, что энергия – все же пока что не единственное узкое место в развитии ИИ. В мире уже заканчиваются качественные данные для тренировки нейросетей. Но об этом в другой раз.



group-telegram.com/nejdanov/371
Create:
Last Update:

В новом интервью Цукерберга меня заинтересовало, как он несколько раз мечтательно говорит, что рано или поздно кто-то наконец построит data-центр для тренировки ИИ с мощностью в 1 гигаватт — по сути, сделает целый ядерный реактор батарейкой для одной нейросети.

Еще недавно основной метрикой ИИ было количество параметров нейросети, исчислявшееся миллионами, а затем и миллиардами. Когда количество параметров начало приближаться к триллиону, тренд поменялся: теперь нейросеть Цукерберга нового поколения Llama 3 с 7 млрд параметров работает лучше, чем Llama 2 с 70 млрд. Меряться количеством параметров больше не актуально.

Теперь главной метрикой ИИ постепенно становится энергия.

CEO OpenAI Сэм Альтман утверждает, что будущее ИИ полностью зависит от развития сферы энергетики. Нейросети работают на полупроводниках (процессорах), которые потребляют громадное количество электричества. Для прогресса в ИИ нужно скармливать ему все больше процессоров, а для них нужно все больше энергии. Еще недавно все считали, что прогресс ИИ упрется в невозможность производить достаточное количество процессоров — но нет, теперь все упирается в электричество, которое питает эти процессоры в дата-центрах.

Сегодня средний дата центр, необходимый для тренировки и поддержания ИИ, потребляет от 50 до 100 мегаватт, крупный — 150 мегаватт. Чтобы ИИ в нынешнем его виде вышел на принципиально новый уровень, по мнению Цукерберга, нужно строить дата-центры уже на 300-500 мегаватт, а сам он, кажется, мечтает о 1000 мегаваттном (1 гВт) ИИ-комплексе.

И тут мы упираемся в очень интересную ситуацию. Энергия в нашей цивилизации принадлежит правительствам. Даже если не правительство ее производит и распределяет, все равно именно оно регулирует законами все, что с ней связано, и без его разрешений никакие серьезные добыча и распределение невозможны. Дальше — еще интереснее. Наибольшим количеством энергии в наше время распоряжаются автократические и тоталитарные режимы, например, путинская РФ.

Одна ЗАЭС, крупнейшая электростанция Европы, которую путинские войска отобрали у Украины, способна генерировать сразу 6 гигаватт — в шесть раз больше, чем в фантазиях Цукерберга. То есть потенциально РФ, в худшем случае, или монархии Персидского залива в лучшем, могут в обозримом будущем перещеголять США и Европу в развитии ИИ просто за счет того, что смогут пустить на это дело больше энергии. Пикантность ситуации заключается в том, что им даже не придется изобретать велосипед и создавать нейросети с ноля. Им даже красть ничего не придется: они просто возьмут open-source модели того же Цукерберга и продолжат развивать их на базе своей электрогенерации.

Хорошо, что энергия – все же пока что не единственное узкое место в развитии ИИ. В мире уже заканчиваются качественные данные для тренировки нейросетей. Но об этом в другой раз.

BY Чорт ногу сломит


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/nejdanov/371

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Under the Sebi Act, the regulator has the power to carry out search and seizure of books, registers, documents including electronics and digital devices from any person associated with the securities market. In view of this, the regulator has cautioned investors not to rely on such investment tips / advice received through social media platforms. It has also said investors should exercise utmost caution while taking investment decisions while dealing in the securities market. During the operations, Sebi officials seized various records and documents, including 34 mobile phones, six laptops, four desktops, four tablets, two hard drive disks and one pen drive from the custody of these persons. The Security Service of Ukraine said in a tweet that it was able to effectively target Russian convoys near Kyiv because of messages sent to an official Telegram bot account called "STOP Russian War." The War on Fakes channel has repeatedly attempted to push conspiracies that footage from Ukraine is somehow being falsified. One post on the channel from February 24 claimed without evidence that a widely viewed photo of a Ukrainian woman injured in an airstrike in the city of Chuhuiv was doctored and that the woman was seen in a different photo days later without injuries. The post, which has over 600,000 views, also baselessly claimed that the woman's blood was actually makeup or grape juice.
from tw


Telegram Чорт ногу сломит
FROM American