Оказалось, что память у трансформеров находится в feed-forward части, а точнее в последнем слое некоторых MLP. При этом все факты можно довольно легко изменять без вреда для остальных знаний и навыков модели.
Авторы придумали хитрый способ как определить место внутри модели, связанное с отдельной ассоциацией. Для этого они берут текст нужного факта, зашумляют эмбеддинги его токенов и смотрят какой фрагмент модели наиболее подвержен влиянию такого искажения — всегда оказывается, что это один из feed-forward слоёв.
А для подмены факта необходимо внести небольшие изменения в выходную матрицу найденного MLP (rank-one modification), основываясь на желаемом аутпуте для этого слоя. Такой подход работает надёжнее, чем файнтюнинг, ведь если долго учить GPT тексту «Лувр находится в Париже» — то она может начать говорить, что и Статуя Свободы, и Кремль, и вообще всё остальное тоже находится в Париже.
Авторы смогли запихнуть десятки тысяч фактов из Wikidata внутрь GPT-J и подготовили демо, где можно наблюдать за внутренним «развитием» ассоциаций в модели от слоя к слою.
Оказалось, что память у трансформеров находится в feed-forward части, а точнее в последнем слое некоторых MLP. При этом все факты можно довольно легко изменять без вреда для остальных знаний и навыков модели.
Авторы придумали хитрый способ как определить место внутри модели, связанное с отдельной ассоциацией. Для этого они берут текст нужного факта, зашумляют эмбеддинги его токенов и смотрят какой фрагмент модели наиболее подвержен влиянию такого искажения — всегда оказывается, что это один из feed-forward слоёв.
А для подмены факта необходимо внести небольшие изменения в выходную матрицу найденного MLP (rank-one modification), основываясь на желаемом аутпуте для этого слоя. Такой подход работает надёжнее, чем файнтюнинг, ведь если долго учить GPT тексту «Лувр находится в Париже» — то она может начать говорить, что и Статуя Свободы, и Кремль, и вообще всё остальное тоже находится в Париже.
Авторы смогли запихнуть десятки тысяч фактов из Wikidata внутрь GPT-J и подготовили демо, где можно наблюдать за внутренним «развитием» ассоциаций в модели от слоя к слою.
The SC urges the public to refer to the SC’s I nvestor Alert List before investing. The list contains details of unauthorised websites, investment products, companies and individuals. Members of the public who suspect that they have been approached by unauthorised firms or individuals offering schemes that promise unrealistic returns WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. In addition, Telegram now supports the use of third-party streaming tools like OBS Studio and XSplit to broadcast live video, allowing users to add overlays and multi-screen layouts for a more professional look. Telegram has gained a reputation as the “secure” communications app in the post-Soviet states, but whenever you make choices about your digital security, it’s important to start by asking yourself, “What exactly am I securing? And who am I securing it from?” These questions should inform your decisions about whether you are using the right tool or platform for your digital security needs. Telegram is certainly not the most secure messaging app on the market right now. Its security model requires users to place a great deal of trust in Telegram’s ability to protect user data. For some users, this may be good enough for now. For others, it may be wiser to move to a different platform for certain kinds of high-risk communications. However, the perpetrators of such frauds are now adopting new methods and technologies to defraud the investors.
from ar
