Telegram Group & Telegram Channel
В новом интервью Цукерберга меня заинтересовало, как он несколько раз мечтательно говорит, что рано или поздно кто-то наконец построит data-центр для тренировки ИИ с мощностью в 1 гигаватт — по сути, сделает целый ядерный реактор батарейкой для одной нейросети.

Еще недавно основной метрикой ИИ было количество параметров нейросети, исчислявшееся миллионами, а затем и миллиардами. Когда количество параметров начало приближаться к триллиону, тренд поменялся: теперь нейросеть Цукерберга нового поколения Llama 3 с 7 млрд параметров работает лучше, чем Llama 2 с 70 млрд. Меряться количеством параметров больше не актуально.

Теперь главной метрикой ИИ постепенно становится энергия.

CEO OpenAI Сэм Альтман утверждает, что будущее ИИ полностью зависит от развития сферы энергетики. Нейросети работают на полупроводниках (процессорах), которые потребляют громадное количество электричества. Для прогресса в ИИ нужно скармливать ему все больше процессоров, а для них нужно все больше энергии. Еще недавно все считали, что прогресс ИИ упрется в невозможность производить достаточное количество процессоров — но нет, теперь все упирается в электричество, которое питает эти процессоры в дата-центрах.

Сегодня средний дата центр, необходимый для тренировки и поддержания ИИ, потребляет от 50 до 100 мегаватт, крупный — 150 мегаватт. Чтобы ИИ в нынешнем его виде вышел на принципиально новый уровень, по мнению Цукерберга, нужно строить дата-центры уже на 300-500 мегаватт, а сам он, кажется, мечтает о 1000 мегаваттном (1 гВт) ИИ-комплексе.

И тут мы упираемся в очень интересную ситуацию. Энергия в нашей цивилизации принадлежит правительствам. Даже если не правительство ее производит и распределяет, все равно именно оно регулирует законами все, что с ней связано, и без его разрешений никакие серьезные добыча и распределение невозможны. Дальше — еще интереснее. Наибольшим количеством энергии в наше время распоряжаются автократические и тоталитарные режимы, например, путинская РФ.

Одна ЗАЭС, крупнейшая электростанция Европы, которую путинские войска отобрали у Украины, способна генерировать сразу 6 гигаватт — в шесть раз больше, чем в фантазиях Цукерберга. То есть потенциально РФ, в худшем случае, или монархии Персидского залива в лучшем, могут в обозримом будущем перещеголять США и Европу в развитии ИИ просто за счет того, что смогут пустить на это дело больше энергии. Пикантность ситуации заключается в том, что им даже не придется изобретать велосипед и создавать нейросети с ноля. Им даже красть ничего не придется: они просто возьмут open-source модели того же Цукерберга и продолжат развивать их на базе своей электрогенерации.

Хорошо, что энергия – все же пока что не единственное узкое место в развитии ИИ. В мире уже заканчиваются качественные данные для тренировки нейросетей. Но об этом в другой раз.



group-telegram.com/nejdanov/371
Create:
Last Update:

В новом интервью Цукерберга меня заинтересовало, как он несколько раз мечтательно говорит, что рано или поздно кто-то наконец построит data-центр для тренировки ИИ с мощностью в 1 гигаватт — по сути, сделает целый ядерный реактор батарейкой для одной нейросети.

Еще недавно основной метрикой ИИ было количество параметров нейросети, исчислявшееся миллионами, а затем и миллиардами. Когда количество параметров начало приближаться к триллиону, тренд поменялся: теперь нейросеть Цукерберга нового поколения Llama 3 с 7 млрд параметров работает лучше, чем Llama 2 с 70 млрд. Меряться количеством параметров больше не актуально.

Теперь главной метрикой ИИ постепенно становится энергия.

CEO OpenAI Сэм Альтман утверждает, что будущее ИИ полностью зависит от развития сферы энергетики. Нейросети работают на полупроводниках (процессорах), которые потребляют громадное количество электричества. Для прогресса в ИИ нужно скармливать ему все больше процессоров, а для них нужно все больше энергии. Еще недавно все считали, что прогресс ИИ упрется в невозможность производить достаточное количество процессоров — но нет, теперь все упирается в электричество, которое питает эти процессоры в дата-центрах.

Сегодня средний дата центр, необходимый для тренировки и поддержания ИИ, потребляет от 50 до 100 мегаватт, крупный — 150 мегаватт. Чтобы ИИ в нынешнем его виде вышел на принципиально новый уровень, по мнению Цукерберга, нужно строить дата-центры уже на 300-500 мегаватт, а сам он, кажется, мечтает о 1000 мегаваттном (1 гВт) ИИ-комплексе.

И тут мы упираемся в очень интересную ситуацию. Энергия в нашей цивилизации принадлежит правительствам. Даже если не правительство ее производит и распределяет, все равно именно оно регулирует законами все, что с ней связано, и без его разрешений никакие серьезные добыча и распределение невозможны. Дальше — еще интереснее. Наибольшим количеством энергии в наше время распоряжаются автократические и тоталитарные режимы, например, путинская РФ.

Одна ЗАЭС, крупнейшая электростанция Европы, которую путинские войска отобрали у Украины, способна генерировать сразу 6 гигаватт — в шесть раз больше, чем в фантазиях Цукерберга. То есть потенциально РФ, в худшем случае, или монархии Персидского залива в лучшем, могут в обозримом будущем перещеголять США и Европу в развитии ИИ просто за счет того, что смогут пустить на это дело больше энергии. Пикантность ситуации заключается в том, что им даже не придется изобретать велосипед и создавать нейросети с ноля. Им даже красть ничего не придется: они просто возьмут open-source модели того же Цукерберга и продолжат развивать их на базе своей электрогенерации.

Хорошо, что энергия – все же пока что не единственное узкое место в развитии ИИ. В мире уже заканчиваются качественные данные для тренировки нейросетей. Но об этом в другой раз.

BY Чорт ногу сломит


Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260

Share with your friend now:
group-telegram.com/nejdanov/371

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

On Feb. 27, however, he admitted from his Russian-language account that "Telegram channels are increasingly becoming a source of unverified information related to Ukrainian events." Soloviev also promoted the channel in a post he shared on his own Telegram, which has 580,000 followers. The post recommended his viewers subscribe to "War on Fakes" in a time of fake news. Perpetrators of such fraud use various marketing techniques to attract subscribers on their social media channels. "The inflation fire was already hot and now with war-driven inflation added to the mix, it will grow even hotter, setting off a scramble by the world’s central banks to pull back their stimulus earlier than expected," Chris Rupkey, chief economist at FWDBONDS, wrote in an email. "A spike in inflation rates has preceded economic recessions historically and this time prices have soared to levels that once again pose a threat to growth." "Like the bombing of the maternity ward in Mariupol," he said, "Even before it hits the news, you see the videos on the Telegram channels."
from tw


Telegram Чорт ногу сломит
FROM American