The Evolution of Statistical Induction Heads: In-Context Learning Markov Chains
Вдогонку про ин-контекст. Абстрагируемся от естественного языка - перейдем к моделированию последовательностей случайной цепи Маркова, потому что легко такое сделать, да и мы знаем как такое оптимально моделировать на инференсе. Авторы так же демонстрируют появление статистических индуктивных голов, то есть голов, которые ведут счетчики (статистики) по входящим токенам
Более того, сначала трансформер моделирует униграммы, затем происходит «фазовый переход» - момент резкого падения лосса модели из-за оверфита на трейне и появления в ней новых способностей - и трансформер уже моделирует биграммы. Процесс (возможно, и в более сложных реалистичных ситуациях) повторяется и получаем, что трансформеры способны моделировать in-context n-grams
👀LINK
#icl #bigrams #unigrams #ngrams #inductiveheads #phasetransition #transformer
Вдогонку про ин-контекст. Абстрагируемся от естественного языка - перейдем к моделированию последовательностей случайной цепи Маркова, потому что легко такое сделать, да и мы знаем как такое оптимально моделировать на инференсе. Авторы так же демонстрируют появление статистических индуктивных голов, то есть голов, которые ведут счетчики (статистики) по входящим токенам
Более того, сначала трансформер моделирует униграммы, затем происходит «фазовый переход» - момент резкого падения лосса модели из-за оверфита на трейне и появления в ней новых способностей - и трансформер уже моделирует биграммы. Процесс (возможно, и в более сложных реалистичных ситуациях) повторяется и получаем, что трансформеры способны моделировать in-context n-grams
👀LINK
#icl #bigrams #unigrams #ngrams #inductiveheads #phasetransition #transformer
group-telegram.com/rizzearch/92
Create:
Last Update:
Last Update:
The Evolution of Statistical Induction Heads: In-Context Learning Markov Chains
Вдогонку про ин-контекст. Абстрагируемся от естественного языка - перейдем к моделированию последовательностей случайной цепи Маркова, потому что легко такое сделать, да и мы знаем как такое оптимально моделировать на инференсе. Авторы так же демонстрируют появление статистических индуктивных голов, то есть голов, которые ведут счетчики (статистики) по входящим токенам
Более того, сначала трансформер моделирует униграммы, затем происходит «фазовый переход» - момент резкого падения лосса модели из-за оверфита на трейне и появления в ней новых способностей - и трансформер уже моделирует биграммы. Процесс (возможно, и в более сложных реалистичных ситуациях) повторяется и получаем, что трансформеры способны моделировать in-context n-grams
👀LINK
#icl #bigrams #unigrams #ngrams #inductiveheads #phasetransition #transformer
Вдогонку про ин-контекст. Абстрагируемся от естественного языка - перейдем к моделированию последовательностей случайной цепи Маркова, потому что легко такое сделать, да и мы знаем как такое оптимально моделировать на инференсе. Авторы так же демонстрируют появление статистических индуктивных голов, то есть голов, которые ведут счетчики (статистики) по входящим токенам
Более того, сначала трансформер моделирует униграммы, затем происходит «фазовый переход» - момент резкого падения лосса модели из-за оверфита на трейне и появления в ней новых способностей - и трансформер уже моделирует биграммы. Процесс (возможно, и в более сложных реалистичных ситуациях) повторяется и получаем, что трансформеры способны моделировать in-context n-grams
👀LINK
#icl #bigrams #unigrams #ngrams #inductiveheads #phasetransition #transformer
BY rizzearch
Share with your friend now:
group-telegram.com/rizzearch/92