Telegram Group & Telegram Channel
Think before you speak: Training Language Models With Pause Tokens

yet another simple idea, которая может иметь шансы на успех

а кто вам сказал, что ллм не надо хотя бы на йоту призадуматься и подумать о том, что она генерирует? звучит как какое-то ущемление 🥴

ну а авторы это объясняют так - порой выгодно откладывать генерацию модели, если за это время она сможет как-то по-разному обработать инпут (и если по-разному отработает аттеншн например)

реализуют они это при помощи токена паузы, который вставляют определенное гипером количество раз (?) - тогда происходит другой пересчет, нежели без этого токена (логично) и, возможно, это помогает лучше ллм генерировать то, что она генерирует (вижу в этом аналогию с медленным мышлением по Канеману)

а обучают с нуля и файнтюнят такую идею как можно более прямым образом - вставляют на рандоме этот токен в данные, игнорируют вывод, который на нем делает модель (как при инференсе) и обучают вуаля

еще большой вопрос вызывает, как именно аппендятся паузы на инференсе - судя по алгоритму выглядит так, как будто на каждом шаге в конец последовательности они вставляют определенное количество пауз. звучит шокирующе (почему не попробовать на определении какого-то скора выдавать паузу, чтобы сделать перерасчет), но если работает, то let it work

показывают улучшение на QA и ризонинг сетапах

жаль, что кода нет, а по мне выглядит очень прикольно

👀LINK
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/rizzearch/245
Create:
Last Update:

Think before you speak: Training Language Models With Pause Tokens

yet another simple idea, которая может иметь шансы на успех

а кто вам сказал, что ллм не надо хотя бы на йоту призадуматься и подумать о том, что она генерирует? звучит как какое-то ущемление 🥴

ну а авторы это объясняют так - порой выгодно откладывать генерацию модели, если за это время она сможет как-то по-разному обработать инпут (и если по-разному отработает аттеншн например)

реализуют они это при помощи токена паузы, который вставляют определенное гипером количество раз (?) - тогда происходит другой пересчет, нежели без этого токена (логично) и, возможно, это помогает лучше ллм генерировать то, что она генерирует (вижу в этом аналогию с медленным мышлением по Канеману)

а обучают с нуля и файнтюнят такую идею как можно более прямым образом - вставляют на рандоме этот токен в данные, игнорируют вывод, который на нем делает модель (как при инференсе) и обучают вуаля

еще большой вопрос вызывает, как именно аппендятся паузы на инференсе - судя по алгоритму выглядит так, как будто на каждом шаге в конец последовательности они вставляют определенное количество пауз. звучит шокирующе (почему не попробовать на определении какого-то скора выдавать паузу, чтобы сделать перерасчет), но если работает, то let it work

показывают улучшение на QA и ризонинг сетапах

жаль, что кода нет, а по мне выглядит очень прикольно

👀LINK

BY rizzearch







Share with your friend now:
group-telegram.com/rizzearch/245

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

He said that since his platform does not have the capacity to check all channels, it may restrict some in Russia and Ukraine "for the duration of the conflict," but then reversed course hours later after many users complained that Telegram was an important source of information. WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. "The result is on this photo: fiery 'greetings' to the invaders," the Security Service of Ukraine wrote alongside a photo showing several military vehicles among plumes of black smoke. To that end, when files are actively downloading, a new icon now appears in the Search bar that users can tap to view and manage downloads, pause and resume all downloads or just individual items, and select one to increase its priority or view it in a chat. Crude oil prices edged higher after tumbling on Thursday, when U.S. West Texas intermediate slid back below $110 per barrel after topping as much as $130 a barrel in recent sessions. Still, gas prices at the pump rose to fresh highs.
from ye


Telegram rizzearch
FROM American