Размер суперкомпьютера xAI, который построили за рекордные четыре месяца, пару месяцев назад начали удваивать - к 100k H100 решили докинуть 50k H100 и 50k H200. Закончены ли уже работы - непонятно, но Маск вроде пока этим не хвастался.
До лета следующего года планируется докинуть ещё 300к GB200, первые из которых начнут устанавливать уже в январе, за приоритетный доступ к GPU Маск заплатил больше миллиарда долларов. А вот сейчас выяснилось что и это не предел, а общее количество карт планируется довести более чем до миллиона.
Для понимания масштабов - Llama 3 405B тренировали на 16k H100, Grok 2 - на 20k. Кластеры для тренировки других передовых моделей тоже находятся в пределах пары десятков тысяч GPU. Следующее поколение моделей, вроде Grok 3, тренируется уже на 100k+ GPU, а компании уже закладывают инфраструктуру на всё большую и большую тренировку.
А ведь миллион GPU это не предел - уже какое-то время ходят слухи о многогигаваттных инсталляциях, стоимостью за сотню миллиардов долларов каждая, с многими миллионами чипов.
Размер суперкомпьютера xAI, который построили за рекордные четыре месяца, пару месяцев назад начали удваивать - к 100k H100 решили докинуть 50k H100 и 50k H200. Закончены ли уже работы - непонятно, но Маск вроде пока этим не хвастался.
До лета следующего года планируется докинуть ещё 300к GB200, первые из которых начнут устанавливать уже в январе, за приоритетный доступ к GPU Маск заплатил больше миллиарда долларов. А вот сейчас выяснилось что и это не предел, а общее количество карт планируется довести более чем до миллиона.
Для понимания масштабов - Llama 3 405B тренировали на 16k H100, Grok 2 - на 20k. Кластеры для тренировки других передовых моделей тоже находятся в пределах пары десятков тысяч GPU. Следующее поколение моделей, вроде Grok 3, тренируется уже на 100k+ GPU, а компании уже закладывают инфраструктуру на всё большую и большую тренировку.
А ведь миллион GPU это не предел - уже какое-то время ходят слухи о многогигаваттных инсталляциях, стоимостью за сотню миллиардов долларов каждая, с многими миллионами чипов.
Pavel Durov, Telegram's CEO, is known as "the Russian Mark Zuckerberg," for co-founding VKontakte, which is Russian for "in touch," a Facebook imitator that became the country's most popular social networking site. "There is a significant risk of insider threat or hacking of Telegram systems that could expose all of these chats to the Russian government," said Eva Galperin with the Electronic Frontier Foundation, which has called for Telegram to improve its privacy practices. But Telegram says people want to keep their chat history when they get a new phone, and they like having a data backup that will sync their chats across multiple devices. And that is why they let people choose whether they want their messages to be encrypted or not. When not turned on, though, chats are stored on Telegram's services, which are scattered throughout the world. But it has "disclosed 0 bytes of user data to third parties, including governments," Telegram states on its website. Multiple pro-Kremlin media figures circulated the post's false claims, including prominent Russian journalist Vladimir Soloviev and the state-controlled Russian outlet RT, according to the DFR Lab's report. Meanwhile, a completely redesigned attachment menu appears when sending multiple photos or vides. Users can tap "X selected" (X being the number of items) at the top of the panel to preview how the album will look in the chat when it's sent, as well as rearrange or remove selected media.
from no
