🔥Сегодня вышлапросто гигантская модель Falcon 180B!
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B: - 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B. - Контекст 2048 токенов (но можно расширить с попощью RoPE scaling) - Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker. - Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов. - Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров. - Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
🔥Сегодня вышлапросто гигантская модель Falcon 180B!
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B: - 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B. - Контекст 2048 токенов (но можно расширить с попощью RoPE scaling) - Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker. - Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов. - Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров. - Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
Official government accounts have also spread fake fact checks. An official Twitter account for the Russia diplomatic mission in Geneva shared a fake debunking video claiming without evidence that "Western and Ukrainian media are creating thousands of fake news on Russia every day." The video, which has amassed almost 30,000 views, offered a "how-to" spot misinformation. The S&P 500 fell 1.3% to 4,204.36, and the Dow Jones Industrial Average was down 0.7% to 32,943.33. The Dow posted a fifth straight weekly loss — its longest losing streak since 2019. The Nasdaq Composite tumbled 2.2% to 12,843.81. Though all three indexes opened in the green, stocks took a turn after a new report showed U.S. consumer sentiment deteriorated more than expected in early March as consumers' inflation expectations soared to the highest since 1981. After fleeing Russia, the brothers founded Telegram as a way to communicate outside the Kremlin's orbit. They now run it from Dubai, and Pavel Durov says it has more than 500 million monthly active users. WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. Artem Kliuchnikov and his family fled Ukraine just days before the Russian invasion.
from ca
