Я думаю, что следующий большой шаг в демократизации LLM случится, когда кто-то опубликует открытую модель среднего размера (скажем, 20-50B, но хорошо если и маленькие тоже, до 10B) со следующими свойствами:
1. Мультиязычность by design. Идеально с поддержкой хотя бы нескольких десятков, а лучше сотни языков, покрывающих разные языковые семьи и письменности.
Прямо сейчас, хоть отдельные модели как-то умеют работать с неанглийским из коробки или могут быть достаточно хорошо зафайнтюнены благодаря удачным токенизаторам и не только, это не оптимальное решение для рабочих продуктов, где надо покрывать широкий спектр культур и языков.
2. Function calling, который пока массово отсутствует в открытых моделях больших игроков. Только комьюнити файнтюны.
Это откроет дорогу к сильно более полезным локальным агентным историям, чем можно собрать на открытых моделях сейчас.
Может ещё есть какое-то полезное свойство, но сходу на ум не пришло. Напишите в комментариях, если считаете что есть ещё что-то важное.
Здесь наверное могла бы быть мультимодальность, но мне кажется и без неё уже будет огонь 🔥
Может быть супер длинный контекст, но кажется, что его расширить можно проще, чем добавить в трейнсет много языков
UPD: модель с commercial friendly лицензией
Интересно, кто будет первым и оставит этот след в истории. Я больше верю в какого-то не самого большого игрока, Мистраль, например. Либо вообще кто-то новый с ресурсами. От больших не дождёмся, кажется.
Я думаю, что следующий большой шаг в демократизации LLM случится, когда кто-то опубликует открытую модель среднего размера (скажем, 20-50B, но хорошо если и маленькие тоже, до 10B) со следующими свойствами:
1. Мультиязычность by design. Идеально с поддержкой хотя бы нескольких десятков, а лучше сотни языков, покрывающих разные языковые семьи и письменности.
Прямо сейчас, хоть отдельные модели как-то умеют работать с неанглийским из коробки или могут быть достаточно хорошо зафайнтюнены благодаря удачным токенизаторам и не только, это не оптимальное решение для рабочих продуктов, где надо покрывать широкий спектр культур и языков.
2. Function calling, который пока массово отсутствует в открытых моделях больших игроков. Только комьюнити файнтюны.
Это откроет дорогу к сильно более полезным локальным агентным историям, чем можно собрать на открытых моделях сейчас.
Может ещё есть какое-то полезное свойство, но сходу на ум не пришло. Напишите в комментариях, если считаете что есть ещё что-то важное.
Здесь наверное могла бы быть мультимодальность, но мне кажется и без неё уже будет огонь 🔥
Может быть супер длинный контекст, но кажется, что его расширить можно проще, чем добавить в трейнсет много языков
UPD: модель с commercial friendly лицензией
Интересно, кто будет первым и оставит этот след в истории. Я больше верю в какого-то не самого большого игрока, Мистраль, например. Либо вообще кто-то новый с ресурсами. От больших не дождёмся, кажется.
BY gonzo-обзоры ML статей
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
At the start of 2018, the company attempted to launch an Initial Coin Offering (ICO) which would enable it to enable payments (and earn the cash that comes from doing so). The initial signals were promising, especially given Telegram’s user base is already fairly crypto-savvy. It raised an initial tranche of cash – worth more than a billion dollars – to help develop the coin before opening sales to the public. Unfortunately, third-party sales of coins bought in those initial fundraising rounds raised the ire of the SEC, which brought the hammer down on the whole operation. In 2020, officials ordered Telegram to pay a fine of $18.5 million and hand back much of the cash that it had raised. The SC urges the public to refer to the SC’s I nvestor Alert List before investing. The list contains details of unauthorised websites, investment products, companies and individuals. Members of the public who suspect that they have been approached by unauthorised firms or individuals offering schemes that promise unrealistic returns Now safely in France with his spouse and three of his children, Kliuchnikov scrolls through Telegram to learn about the devastation happening in his home country. Apparently upbeat developments in Russia's discussions with Ukraine helped at least temporarily send investors back into risk assets. Russian President Vladimir Putin said during a meeting with his Belarusian counterpart Alexander Lukashenko that there were "certain positive developments" occurring in the talks with Ukraine, according to a transcript of their meeting. Putin added that discussions were happening "almost on a daily basis." Unlike Silicon Valley giants such as Facebook and Twitter, which run very public anti-disinformation programs, Brooking said: "Telegram is famously lax or absent in its content moderation policy."
from ua
