❗️Открытие Apple: оказывается у LLM есть особые "супер-веса", которые критически важны для работы всей модели
Исследователи также обнаружили, что эти "супер-веса" создают "супер-активации" - особо сильные сигналы, которые распространяются по всей сети модели.
Исследование проведено командой из Apple и Университета Нотр-Дам.
Представьте себе изменение всего одного параметра из миллиардов может полностью "сломать" работу всей модели.
Что это значит?
В моделях типа LLaMA-7B есть критически важные параметры. Удаление такого параметра снижает точность модели до уровня случайного угадывания. При этом удаление даже 7000 других крупных весов влияет на качество работы минимально.
Это важно тем, что:
1. Меняет наше понимание работы нейросетей. 2. Открывает новые возможности для оптимизации моделей. 3. Позволяет эффективнее сжимать модели без потери качества.
❗️Открытие Apple: оказывается у LLM есть особые "супер-веса", которые критически важны для работы всей модели
Исследователи также обнаружили, что эти "супер-веса" создают "супер-активации" - особо сильные сигналы, которые распространяются по всей сети модели.
Исследование проведено командой из Apple и Университета Нотр-Дам.
Представьте себе изменение всего одного параметра из миллиардов может полностью "сломать" работу всей модели.
Что это значит?
В моделях типа LLaMA-7B есть критически важные параметры. Удаление такого параметра снижает точность модели до уровня случайного угадывания. При этом удаление даже 7000 других крупных весов влияет на качество работы минимально.
Это важно тем, что:
1. Меняет наше понимание работы нейросетей. 2. Открывает новые возможности для оптимизации моделей. 3. Позволяет эффективнее сжимать модели без потери качества.
The Securities and Exchange Board of India (Sebi) had carried out a similar exercise in 2017 in a matter related to circulation of messages through WhatsApp. "The argument from Telegram is, 'You should trust us because we tell you that we're trustworthy,'" Maréchal said. "It's really in the eye of the beholder whether that's something you want to buy into." That hurt tech stocks. For the past few weeks, the 10-year yield has traded between 1.72% and 2%, as traders moved into the bond for safety when Russia headlines were ugly—and out of it when headlines improved. Now, the yield is touching its pandemic-era high. If the yield breaks above that level, that could signal that it’s on a sustainable path higher. Higher long-dated bond yields make future profits less valuable—and many tech companies are valued on the basis of profits forecast for many years in the future. "We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon." The perpetrators use various names to carry out the investment scams. They may also impersonate or clone licensed capital market intermediaries by using the names, logos, credentials, websites and other details of the legitimate entities to promote the illegal schemes.
from br
