❗️Открытие Apple: оказывается у LLM есть особые "супер-веса", которые критически важны для работы всей модели
Исследователи также обнаружили, что эти "супер-веса" создают "супер-активации" - особо сильные сигналы, которые распространяются по всей сети модели.
Исследование проведено командой из Apple и Университета Нотр-Дам.
Представьте себе изменение всего одного параметра из миллиардов может полностью "сломать" работу всей модели.
Что это значит?
В моделях типа LLaMA-7B есть критически важные параметры. Удаление такого параметра снижает точность модели до уровня случайного угадывания. При этом удаление даже 7000 других крупных весов влияет на качество работы минимально.
Это важно тем, что:
1. Меняет наше понимание работы нейросетей. 2. Открывает новые возможности для оптимизации моделей. 3. Позволяет эффективнее сжимать модели без потери качества.
❗️Открытие Apple: оказывается у LLM есть особые "супер-веса", которые критически важны для работы всей модели
Исследователи также обнаружили, что эти "супер-веса" создают "супер-активации" - особо сильные сигналы, которые распространяются по всей сети модели.
Исследование проведено командой из Apple и Университета Нотр-Дам.
Представьте себе изменение всего одного параметра из миллиардов может полностью "сломать" работу всей модели.
Что это значит?
В моделях типа LLaMA-7B есть критически важные параметры. Удаление такого параметра снижает точность модели до уровня случайного угадывания. При этом удаление даже 7000 других крупных весов влияет на качество работы минимально.
Это важно тем, что:
1. Меняет наше понимание работы нейросетей. 2. Открывает новые возможности для оптимизации моделей. 3. Позволяет эффективнее сжимать модели без потери качества.
Telegram boasts 500 million users, who share information individually and in groups in relative security. But Telegram's use as a one-way broadcast channel — which followers can join but not reply to — means content from inauthentic accounts can easily reach large, captive and eager audiences. The message was not authentic, with the real Zelenskiy soon denying the claim on his official Telegram channel, but the incident highlighted a major problem: disinformation quickly spreads unchecked on the encrypted app. As the war in Ukraine rages, the messaging app Telegram has emerged as the go-to place for unfiltered live war updates for both Ukrainian refugees and increasingly isolated Russians alike. The channel appears to be part of the broader information war that has developed following Russia's invasion of Ukraine. The Kremlin has paid Russian TikTok influencers to push propaganda, according to a Vice News investigation, while ProPublica found that fake Russian fact check videos had been viewed over a million times on Telegram. READ MORE
from ar
