Warning: mkdir(): No space left on device in /var/www/group-telegram/post.php on line 37

Warning: file_put_contents(aCache/aDaily/post/hikonon/-82-83-82-): Failed to open stream: No such file or directory in /var/www/group-telegram/post.php on line 50
Кононюковщина | Telegram Webview: hikonon/83 -
Telegram Group & Telegram Channel
💬 Институт технологических инноваций (TII) из Абу-Даби представил Falcon 3 — семейство языковых моделей, содержащих до 10 миллиардов параметров.

Falcon 3 — это продолжение предыдущих разработок, в котором внимание уделяется расширению возможностей моделей в области науки, математики и программирования.

В это семейство входят пять базовых моделей:
- Falcon3-1B-Base
- Falcon3-3B-Base
- Falcon3-Mamba-7B-Base
- Falcon3-7B-Base
- Falcon3-10B-Base

Как создали Falcon 3:

— Провели одно предварительное обучение модели 7B на 1024 GPU-чипах H100 с использованием 14 триллионов токенов (веб-данные, код, STEM-информацию, а также многоязычные данные).

— Модель 7B была масштабирована до модели с 10 миллиардами параметров путем дублирования слоев и продолжения предварительного обучения на 2 триллионах токенов. В результате была получена модель Falcon3-10B-Base, которая достигает state-of-the-art показателей zero-shot и few-shot для моделей с менее чем 13 миллиардами параметров.

— Созданы модели Falcon3-1B-Base и Falcon3-3B-Base с использованием методов прунинга и дистилляции знаний из больших моделей.

Все модели семейства Falcon 3 доступны в вариантах Instruct, GGUF, GPTQ-Int4, GPTQ-Int8, AWQ и 1.58-bit.

Instruct-версии моделей демонстрируют отличную производительность в различных тестах: Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят все instruct-модели с менее чем 13 миллиардами параметров в открытом рейтинге.

Показатель в тестах MMLU демонстрирует прогресс в специализированных знаниях, с результатами 67,4/39,2 (MMLU/MMLU-PRO) для Falcon3-7B-Base и 73,1/42,5 (MMLU/MMLU-PRO) для Falcon3-10B-Base соответственно.

В январе 2025 года будут выпущены другие модели семейства Falcon 3 с расширенными мультимодальными возможностями (поддержка изображений, видео и аудио) и полный технический отчет.

🤗 HuggingFace

@hikonon
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/hikonon/83
Create:
Last Update:

💬 Институт технологических инноваций (TII) из Абу-Даби представил Falcon 3 — семейство языковых моделей, содержащих до 10 миллиардов параметров.

Falcon 3 — это продолжение предыдущих разработок, в котором внимание уделяется расширению возможностей моделей в области науки, математики и программирования.

В это семейство входят пять базовых моделей:
- Falcon3-1B-Base
- Falcon3-3B-Base
- Falcon3-Mamba-7B-Base
- Falcon3-7B-Base
- Falcon3-10B-Base

Как создали Falcon 3:

— Провели одно предварительное обучение модели 7B на 1024 GPU-чипах H100 с использованием 14 триллионов токенов (веб-данные, код, STEM-информацию, а также многоязычные данные).

— Модель 7B была масштабирована до модели с 10 миллиардами параметров путем дублирования слоев и продолжения предварительного обучения на 2 триллионах токенов. В результате была получена модель Falcon3-10B-Base, которая достигает state-of-the-art показателей zero-shot и few-shot для моделей с менее чем 13 миллиардами параметров.

— Созданы модели Falcon3-1B-Base и Falcon3-3B-Base с использованием методов прунинга и дистилляции знаний из больших моделей.

Все модели семейства Falcon 3 доступны в вариантах Instruct, GGUF, GPTQ-Int4, GPTQ-Int8, AWQ и 1.58-bit.

Instruct-версии моделей демонстрируют отличную производительность в различных тестах: Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят все instruct-модели с менее чем 13 миллиардами параметров в открытом рейтинге.

Показатель в тестах MMLU демонстрирует прогресс в специализированных знаниях, с результатами 67,4/39,2 (MMLU/MMLU-PRO) для Falcon3-7B-Base и 73,1/42,5 (MMLU/MMLU-PRO) для Falcon3-10B-Base соответственно.

В январе 2025 года будут выпущены другие модели семейства Falcon 3 с расширенными мультимодальными возможностями (поддержка изображений, видео и аудио) и полный технический отчет.

🤗 HuggingFace

@hikonon

BY Кононюковщина




❌Photos not found?❌Click here to update cache.


Share with your friend now:
group-telegram.com/hikonon/83

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

"Markets were cheering this economic recovery and return to strong economic growth, but the cheers will turn to tears if the inflation outbreak pushes businesses and consumers to the brink of recession," he added. Lastly, the web previews of t.me links have been given a new look, adding chat backgrounds and design elements from the fully-features Telegram Web client. In the United States, Telegram's lower public profile has helped it mostly avoid high level scrutiny from Congress, but it has not gone unnoticed. Given the pro-privacy stance of the platform, it’s taken as a given that it’ll be used for a number of reasons, not all of them good. And Telegram has been attached to a fair few scandals related to terrorism, sexual exploitation and crime. Back in 2015, Vox described Telegram as “ISIS’ app of choice,” saying that the platform’s real use is the ability to use channels to distribute material to large groups at once. Telegram has acted to remove public channels affiliated with terrorism, but Pavel Durov reiterated that he had no business snooping on private conversations. Recently, Durav wrote on his Telegram channel that users' right to privacy, in light of the war in Ukraine, is "sacred, now more than ever."
from br


Telegram Кононюковщина
FROM American