Progresspunks

Интервью Марка Цукерберга про Llama 3 Dwarkesh Patel’ю 18 апр 2024:

Llama 3
- Meta AI (бесплатный помощник) выкатываем на юзеров, под капотом llama 3, ее опенсорсим. И text LLM для playful контента, и генерация картинок в динамике по мере ввода prompt
- 3 версии: 8 млрд параметров, 70, а на 405 еще треним. Результат 85 в MMLU тесте. Данные: 15 трлн токенов. Llama-3 на 8 млрд параметров так же крута как 2ая на 70 млрд, НЕ круче. И Llama-2 мы не тренили на coding questions, но людям в разных сферах вдруг оказалось важным
- Дальше цели: многоязычность, мультимодальность, бОльшее окно контекста
- В v.3 продолжили наращивать агентские функции, наш долгосрочный курс

GPU
- Откуда знали про заказ заранее H100? Да не, мы работали над Reels - чтобы суперизощренно их рекомендовать - не 1000 роликов, а учитывать сотни млн -> т.е. нужна иная инфраструктура, чтобы догнать TikTok
- В целом наш принцип: “что-то будет на горизонте, что мы пока еще не видим”. Ну т.е. “there's always another thing” когда управляешь компанией

Опенсорс
- Мы давно опенсорсим low level engineering systems - все, что не наши end products. Есть много путей open source. Apple и Google решают что нам можно build/зарелизить, а что нет (и мы устали с ними бодаться про разные фичи), а мы - нет. Кстати, теоретически, тренинг моделей может и коммодитизироваться (!)
- FB AI Research запустили 10 лет назад, без продуктовых целей. ChatGPT и image diffusion models повлияют на все аппы и как люди их юзают. Gen AI группа у нас уже про продуктизацию - делаем meta.ai - люди могут с AI работать НЕ в фб/вотсапе
- Чатботы глупые, кто засолвит reasoning - все станет убого на этом фоне. Так мы занялись AGI
- Думаю, мы НЕ убираем людей, а добавляем им tools. Llama-10 сделает кодеров в >10x эффективнее. Из 3 млрд fb/insta/whatsapp users у нас 200 млн creators -> им нужен gen AI. Еще мы с женой давно пушим науку в Chan Zuckerberg Initiative - там тоже поможет
- Мультимодальность, над которой мир мало работает: понимание эмоций
- Для разных функций будут разные gen AI модели, e.g. для smart glasses

Энергопотребление как ограничитель, модели за $10 млрд
- Думаю стоит сделать инфру на $10-100 млрд и продолжать тренить, веря что модели продолжат учиться. Непонятно, когда исчезнет смысл вваливать $ в GPU
- Да, история учит что будут bottlenecks, но сейчас их будто быстрее решают. Но строить подводы от электростанций всюду regulated & slow. Сейчас датацентры на 50-100 МВт, на 300-500-1000 МВт нету, и их время пришло
- Таким моделям будут нужны, естественно, synthetic data
- Думаю, мы когда-то доберемся до своих чипов

Цезарь, взрыв intelligence, биооружие
- Людям всю историю казалось что они пуп Земли, что даже космос вращается вокруг них. А я думаю AI это low-level инновация, скорее как до компов и после компов, в космических масштабах 20 лет на распространение AI - да, это быстро
- Мы из опыта соцсетей отслеживаем 18 тем чтобы они в LLM не навредили людям. До биоружия далеко, LLM пока ближе к Google
- Опасность не в AGI, а что какие-то власти или люди могут сделать с просто мощным AI. Поэтому и верим в раздачу моделей через open source - для баланса
- Ляля про риски ОК, но на практике у нас больше риски: контента, misinformation. Но я верю в модерацию за счет AI, что нам удастся быть впереди, скажем, стран желающих влезть в выборы итп
- Мы будем опенсорсить модели на сотни млрд параметров, но с оглядкой на вещи, что я упоминаю выше
- Если ехать в прошлое, я бы во времена войны за независимость или Рим (но там же даже не было концепции мира, все время воевали)

Прочее
- Я не продал FB тк все равно бы строил компанию. Иррационально. A lot of the biggest bets that people make are often just based on conviction & values
- Люблю строить, а власть итп мне не интересны
- Детям проще со смелыми идеями -> важно правильно взрослеть, не терять это
- У стартапов есть супер фокус из-за ограничения ресурсов, и они в итоге достигают определенный уровень взаимодействия с миром. Google+, например, банально не имел CEO - был просто юнит Гугла и все

www.group-telegram.com/tr/progresspunk.com/1390

1.7K viewsMay 27, 2024 at 09:34

Интервью Марка Цукерберга про Llama 3 Dwarkesh Patel’ю 18 апр 2024:

Llama 3
- Meta AI (бесплатный помощник) выкатываем на юзеров, под капотом llama 3, ее опенсорсим. И text LLM для playful контента, и генерация картинок в динамике по мере ввода prompt
- 3 версии: 8 млрд параметров, 70, а на 405 еще треним. Результат 85 в MMLU тесте. Данные: 15 трлн токенов. Llama-3 на 8 млрд параметров так же крута как 2ая на 70 млрд, НЕ круче. И Llama-2 мы не тренили на coding questions, но людям в разных сферах вдруг оказалось важным
- Дальше цели: многоязычность, мультимодальность, бОльшее окно контекста
- В v.3 продолжили наращивать агентские функции, наш долгосрочный курс

GPU
- Откуда знали про заказ заранее H100? Да не, мы работали над Reels - чтобы суперизощренно их рекомендовать - не 1000 роликов, а учитывать сотни млн -> т.е. нужна иная инфраструктура, чтобы догнать TikTok
- В целом наш принцип: “что-то будет на горизонте, что мы пока еще не видим”. Ну т.е. “there's always another thing” когда управляешь компанией

Опенсорс
- Мы давно опенсорсим low level engineering systems - все, что не наши end products. Есть много путей open source. Apple и Google решают что нам можно build/зарелизить, а что нет (и мы устали с ними бодаться про разные фичи), а мы - нет. Кстати, теоретически, тренинг моделей может и коммодитизироваться (!)
- FB AI Research запустили 10 лет назад, без продуктовых целей. ChatGPT и image diffusion models повлияют на все аппы и как люди их юзают. Gen AI группа у нас уже про продуктизацию - делаем meta.ai - люди могут с AI работать НЕ в фб/вотсапе
- Чатботы глупые, кто засолвит reasoning - все станет убого на этом фоне. Так мы занялись AGI
- Думаю, мы НЕ убираем людей, а добавляем им tools. Llama-10 сделает кодеров в >10x эффективнее. Из 3 млрд fb/insta/whatsapp users у нас 200 млн creators -> им нужен gen AI. Еще мы с женой давно пушим науку в Chan Zuckerberg Initiative - там тоже поможет
- Мультимодальность, над которой мир мало работает: понимание эмоций
- Для разных функций будут разные gen AI модели, e.g. для smart glasses

Энергопотребление как ограничитель, модели за $10 млрд
- Думаю стоит сделать инфру на $10-100 млрд и продолжать тренить, веря что модели продолжат учиться. Непонятно, когда исчезнет смысл вваливать $ в GPU
- Да, история учит что будут bottlenecks, но сейчас их будто быстрее решают. Но строить подводы от электростанций всюду regulated & slow. Сейчас датацентры на 50-100 МВт, на 300-500-1000 МВт нету, и их время пришло
- Таким моделям будут нужны, естественно, synthetic data
- Думаю, мы когда-то доберемся до своих чипов

Цезарь, взрыв intelligence, биооружие
- Людям всю историю казалось что они пуп Земли, что даже космос вращается вокруг них. А я думаю AI это low-level инновация, скорее как до компов и после компов, в космических масштабах 20 лет на распространение AI - да, это быстро
- Мы из опыта соцсетей отслеживаем 18 тем чтобы они в LLM не навредили людям. До биоружия далеко, LLM пока ближе к Google
- Опасность не в AGI, а что какие-то власти или люди могут сделать с просто мощным AI. Поэтому и верим в раздачу моделей через open source - для баланса
- Ляля про риски ОК, но на практике у нас больше риски: контента, misinformation. Но я верю в модерацию за счет AI, что нам удастся быть впереди, скажем, стран желающих влезть в выборы итп
- Мы будем опенсорсить модели на сотни млрд параметров, но с оглядкой на вещи, что я упоминаю выше
- Если ехать в прошлое, я бы во времена войны за независимость или Рим (но там же даже не было концепции мира, все время воевали)

Прочее
- Я не продал FB тк все равно бы строил компанию. Иррационально. A lot of the biggest bets that people make are often just based on conviction & values
- Люблю строить, а власть итп мне не интересны
- Детям проще со смелыми идеями -> важно правильно взрослеть, не терять это
- У стартапов есть супер фокус из-за ограничения ресурсов, и они в итоге достигают определенный уровень взаимодействия с миром. Google+, например, банально не имел CEO - был просто юнит Гугла и все

BY Progresspunks