TransformerFAM: Feedback attention is working memory
#transformer #rnn
Разобрал одну из новых архитектур трансформеров. Меня привлекла идея реализовать rnn через архитектуру attention и применение feedback токенов.
Работает все довольно просто - будем разбивать текст на блоки токенов и накапливать информацию каждого блока в обучаемых feedback токенах. А дальше каждый feedback токен помимо текстовой информации, будет брать значение предыдущего feedback токена (на этом моменте я вспомнил старые добрые лекции Andrew Ng о rnn 🚶♀️)
Заметил, что тема rnn становится популярна в последнее время (отсылка к новой статье xLSTM, которую я разберу позднее⏰)
TransformerFAM: Feedback attention is working memory
#transformer #rnn
Разобрал одну из новых архитектур трансформеров. Меня привлекла идея реализовать rnn через архитектуру attention и применение feedback токенов.
Работает все довольно просто - будем разбивать текст на блоки токенов и накапливать информацию каждого блока в обучаемых feedback токенах. А дальше каждый feedback токен помимо текстовой информации, будет брать значение предыдущего feedback токена (на этом моменте я вспомнил старые добрые лекции Andrew Ng о rnn 🚶♀️)
Заметил, что тема rnn становится популярна в последнее время (отсылка к новой статье xLSTM, которую я разберу позднее⏰)
READ MORE Multiple pro-Kremlin media figures circulated the post's false claims, including prominent Russian journalist Vladimir Soloviev and the state-controlled Russian outlet RT, according to the DFR Lab's report. Asked about its stance on disinformation, Telegram spokesperson Remi Vaughn told AFP: "As noted by our CEO, the sheer volume of information being shared on channels makes it extremely difficult to verify, so it's important that users double-check what they read." What distinguishes the app from competitors is its use of what's known as channels: Public or private feeds of photos and videos that can be set up by one person or an organization. The channels have become popular with on-the-ground journalists, aid workers and Ukrainian President Volodymyr Zelenskyy, who broadcasts on a Telegram channel. The channels can be followed by an unlimited number of people. Unlike Facebook, Twitter and other popular social networks, there is no advertising on Telegram and the flow of information is not driven by an algorithm. Groups are also not fully encrypted, end-to-end. This includes private groups. Private groups cannot be seen by other Telegram users, but Telegram itself can see the groups and all of the communications that you have in them. All of the same risks and warnings about channels can be applied to groups.
from us
