Notice: file_put_contents(): Write of 2473 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50
Warning: file_put_contents(): Only 8192 of 10665 bytes written, possibly out of free disk space in /var/www/group-telegram/post.php on line 50 эйай ньюз | Telegram Webview: ai_newz/2136 -
🔥Сегодня вышлапросто гигантская модель Falcon 180B!
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B: - 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B. - Контекст 2048 токенов (но можно расширить с попощью RoPE scaling) - Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker. - Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов. - Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров. - Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
🔥Сегодня вышлапросто гигантская модель Falcon 180B!
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B: - 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B. - Контекст 2048 токенов (но можно расширить с попощью RoPE scaling) - Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker. - Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов. - Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров. - Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
"There are several million Russians who can lift their head up from propaganda and try to look for other sources, and I'd say that most look for it on Telegram," he said. You may recall that, back when Facebook started changing WhatsApp’s terms of service, a number of news outlets reported on, and even recommended, switching to Telegram. Pavel Durov even said that users should delete WhatsApp “unless you are cool with all of your photos and messages becoming public one day.” But Telegram can’t be described as a more-secure version of WhatsApp. "The result is on this photo: fiery 'greetings' to the invaders," the Security Service of Ukraine wrote alongside a photo showing several military vehicles among plumes of black smoke. Telegram was co-founded by Pavel and Nikolai Durov, the brothers who had previously created VKontakte. VK is Russia’s equivalent of Facebook, a social network used for public and private messaging, audio and video sharing as well as online gaming. In January, SimpleWeb reported that VK was Russia’s fourth most-visited website, after Yandex, YouTube and Google’s Russian-language homepage. In 2016, Forbes’ Michael Solomon described Pavel Durov (pictured, below) as the “Mark Zuckerberg of Russia.” "There are a lot of things that Telegram could have been doing this whole time. And they know exactly what they are and they've chosen not to do them. That's why I don't trust them," she said.
from nl
