Notice: file_put_contents(): Write of 13132 bytes failed with errno=28 No space left on device in /var/www/group-telegram/post.php on line 50
Кононюковщина | Telegram Webview: hikonon/82 -
Telegram Group & Telegram Channel
💬 Институт технологических инноваций (TII) из Абу-Даби представил Falcon 3 — семейство языковых моделей, содержащих до 10 миллиардов параметров.

Falcon 3 — это продолжение предыдущих разработок, в котором внимание уделяется расширению возможностей моделей в области науки, математики и программирования.

В это семейство входят пять базовых моделей:
- Falcon3-1B-Base
- Falcon3-3B-Base
- Falcon3-Mamba-7B-Base
- Falcon3-7B-Base
- Falcon3-10B-Base

Как создали Falcon 3:

— Провели одно предварительное обучение модели 7B на 1024 GPU-чипах H100 с использованием 14 триллионов токенов (веб-данные, код, STEM-информацию, а также многоязычные данные).

— Модель 7B была масштабирована до модели с 10 миллиардами параметров путем дублирования слоев и продолжения предварительного обучения на 2 триллионах токенов. В результате была получена модель Falcon3-10B-Base, которая достигает state-of-the-art показателей zero-shot и few-shot для моделей с менее чем 13 миллиардами параметров.

— Созданы модели Falcon3-1B-Base и Falcon3-3B-Base с использованием методов прунинга и дистилляции знаний из больших моделей.

Все модели семейства Falcon 3 доступны в вариантах Instruct, GGUF, GPTQ-Int4, GPTQ-Int8, AWQ и 1.58-bit.

Instruct-версии моделей демонстрируют отличную производительность в различных тестах: Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят все instruct-модели с менее чем 13 миллиардами параметров в открытом рейтинге.

Показатель в тестах MMLU демонстрирует прогресс в специализированных знаниях, с результатами 67,4/39,2 (MMLU/MMLU-PRO) для Falcon3-7B-Base и 73,1/42,5 (MMLU/MMLU-PRO) для Falcon3-10B-Base соответственно.

В январе 2025 года будут выпущены другие модели семейства Falcon 3 с расширенными мультимодальными возможностями (поддержка изображений, видео и аудио) и полный технический отчет.

🤗 HuggingFace

@hikonon
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/hikonon/82
Create:
Last Update:

💬 Институт технологических инноваций (TII) из Абу-Даби представил Falcon 3 — семейство языковых моделей, содержащих до 10 миллиардов параметров.

Falcon 3 — это продолжение предыдущих разработок, в котором внимание уделяется расширению возможностей моделей в области науки, математики и программирования.

В это семейство входят пять базовых моделей:
- Falcon3-1B-Base
- Falcon3-3B-Base
- Falcon3-Mamba-7B-Base
- Falcon3-7B-Base
- Falcon3-10B-Base

Как создали Falcon 3:

— Провели одно предварительное обучение модели 7B на 1024 GPU-чипах H100 с использованием 14 триллионов токенов (веб-данные, код, STEM-информацию, а также многоязычные данные).

— Модель 7B была масштабирована до модели с 10 миллиардами параметров путем дублирования слоев и продолжения предварительного обучения на 2 триллионах токенов. В результате была получена модель Falcon3-10B-Base, которая достигает state-of-the-art показателей zero-shot и few-shot для моделей с менее чем 13 миллиардами параметров.

— Созданы модели Falcon3-1B-Base и Falcon3-3B-Base с использованием методов прунинга и дистилляции знаний из больших моделей.

Все модели семейства Falcon 3 доступны в вариантах Instruct, GGUF, GPTQ-Int4, GPTQ-Int8, AWQ и 1.58-bit.

Instruct-версии моделей демонстрируют отличную производительность в различных тестах: Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят все instruct-модели с менее чем 13 миллиардами параметров в открытом рейтинге.

Показатель в тестах MMLU демонстрирует прогресс в специализированных знаниях, с результатами 67,4/39,2 (MMLU/MMLU-PRO) для Falcon3-7B-Base и 73,1/42,5 (MMLU/MMLU-PRO) для Falcon3-10B-Base соответственно.

В январе 2025 года будут выпущены другие модели семейства Falcon 3 с расширенными мультимодальными возможностями (поддержка изображений, видео и аудио) и полный технический отчет.

🤗 HuggingFace

@hikonon

BY Кононюковщина





Share with your friend now:
group-telegram.com/hikonon/82

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Stocks closed in the red Friday as investors weighed upbeat remarks from Russian President Vladimir Putin about diplomatic discussions with Ukraine against a weaker-than-expected print on U.S. consumer sentiment. For Oleksandra Tsekhanovska, head of the Hybrid Warfare Analytical Group at the Kyiv-based Ukraine Crisis Media Center, the effects are both near- and far-reaching. The company maintains that it cannot act against individual or group chats, which are “private amongst their participants,” but it will respond to requests in relation to sticker sets, channels and bots which are publicly available. During the invasion of Ukraine, Pavel Durov has wrestled with this issue a lot more prominently than he has before. Channels like Donbass Insider and Bellum Acta, as reported by Foreign Policy, started pumping out pro-Russian propaganda as the invasion began. So much so that the Ukrainian National Security and Defense Council issued a statement labeling which accounts are Russian-backed. Ukrainian officials, in potential violation of the Geneva Convention, have shared imagery of dead and captured Russian soldiers on the platform. NEWS The gold standard of encryption, known as end-to-end encryption, where only the sender and person who receives the message are able to see it, is available on Telegram only when the Secret Chat function is enabled. Voice and video calls are also completely encrypted.
from ru


Telegram Кононюковщина
FROM American