❗️Открытие Apple: оказывается у LLM есть особые "супер-веса", которые критически важны для работы всей модели
Исследователи также обнаружили, что эти "супер-веса" создают "супер-активации" - особо сильные сигналы, которые распространяются по всей сети модели.
Исследование проведено командой из Apple и Университета Нотр-Дам.
Представьте себе изменение всего одного параметра из миллиардов может полностью "сломать" работу всей модели.
Что это значит?
В моделях типа LLaMA-7B есть критически важные параметры. Удаление такого параметра снижает точность модели до уровня случайного угадывания. При этом удаление даже 7000 других крупных весов влияет на качество работы минимально.
Это важно тем, что:
1. Меняет наше понимание работы нейросетей. 2. Открывает новые возможности для оптимизации моделей. 3. Позволяет эффективнее сжимать модели без потери качества.
❗️Открытие Apple: оказывается у LLM есть особые "супер-веса", которые критически важны для работы всей модели
Исследователи также обнаружили, что эти "супер-веса" создают "супер-активации" - особо сильные сигналы, которые распространяются по всей сети модели.
Исследование проведено командой из Apple и Университета Нотр-Дам.
Представьте себе изменение всего одного параметра из миллиардов может полностью "сломать" работу всей модели.
Что это значит?
В моделях типа LLaMA-7B есть критически важные параметры. Удаление такого параметра снижает точность модели до уровня случайного угадывания. При этом удаление даже 7000 других крупных весов влияет на качество работы минимально.
Это важно тем, что:
1. Меняет наше понимание работы нейросетей. 2. Открывает новые возможности для оптимизации моделей. 3. Позволяет эффективнее сжимать модели без потери качества.
He said that since his platform does not have the capacity to check all channels, it may restrict some in Russia and Ukraine "for the duration of the conflict," but then reversed course hours later after many users complained that Telegram was an important source of information. 'Wild West' For example, WhatsApp restricted the number of times a user could forward something, and developed automated systems that detect and flag objectionable content. Crude oil prices edged higher after tumbling on Thursday, when U.S. West Texas intermediate slid back below $110 per barrel after topping as much as $130 a barrel in recent sessions. Still, gas prices at the pump rose to fresh highs. On December 23rd, 2020, Pavel Durov posted to his channel that the company would need to start generating revenue. In early 2021, he added that any advertising on the platform would not use user data for targeting, and that it would be focused on “large one-to-many channels.” He pledged that ads would be “non-intrusive” and that most users would simply not notice any change.
from pl
