Все о блокчейн/мозге/space/WEB 3.0 в России и мире

❗️Илья Суцкевер выступил на NeurIPS 2024 и вот, как он видит будущее ИИ - конец эпохи предобучения

10 лет назад Суцкевер и его коллеги предложили важную идею: если создать достаточно большую нейронную сеть (тогда говорили о 10 слоях), она сможет делать всё, что человек способен сделать за доли секунды. Почему именно быстрые реакции? Потому что нейроны в мозге работают относительно медленно, и если искусственные нейроны похожи на настоящие, то такие быстрые задачи должны быть им по силам.

Конец эпохи существующего подхода

Суцкевер сделал важное заявление: текущий подход к обучению ИИ подходит к своему пределу. Вот его аргументация:

1. С одной стороны, наши возможности растут:
2. Появляется более мощное оборудование
3. Улучшаются алгоритмы
4. Строятся более крупные вычислительные системы

Но есть фундаментальные ограничения:
- У нас только один интернет - объем доступных данных для обучения ограничен
- Интернет как источник данных не бесконечен
- Мы приближаемся к пределу доступной информации для обучения ИИ

Что дальше?

Суцкевер видит несколько путей развития:
1. Создание систем, способных действовать самостоятельно (ИИ-агенты)
2. Использование синтетических данных
3. Новые подходы к обработке информации

Суцкевер показал график, демонстрирующий связь между размером тела и мозга у разных млекопитающих. Оказалось, что у человекообразных предков эта зависимость идет по другой траектории - природа нашла новый путь развития интеллекта. Это дает надежду, что и в ИИ возможен подобный прорыв.

Будущие системы ИИ

По мнению Суцкевера, следующее поколение ИИ будет принципиально отличаться от современного:
- Появится настоящая самостоятельность в действиях
- Системы научатся по-настоящему рассуждать
- Их поведение станет менее предсказуемым (как у сильных шахматных программ, которые удивляют даже гроссмейстеров)
- Они будут лучше учиться на небольшом количестве примеров
- Разовьют понимание себя

О проблеме ошибок и самоисправления

Суцкевер считает, что будущие системы смогут сами находить и исправлять свои ошибки, и отмечает, что некоторые современные модели уже начинают демонстрировать такие способности.

Суцкевер говорит: хотя будущее развития ИИ трудно предсказать точно, мы движемся к созданию систем с совершенно новыми возможностями. При этом увеличение способности к самостоятельным рассуждениям неизбежно сделает их поведение менее предсказуемым - это естественное следствие развития интеллекта.

YouTube

Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"

Ilya Sutskever full talk "Sequence to sequence learning with neural networks: what a decade" at NeurIPS 2024 in Vancouver, Canada.

"Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware.…

www.group-telegram.com/ms/blockchainRF.com/11025

2.5K viewsDec 16 at 07:07

❗️Илья Суцкевер выступил на NeurIPS 2024 и вот, как он видит будущее ИИ - конец эпохи предобучения

10 лет назад Суцкевер и его коллеги предложили важную идею: если создать достаточно большую нейронную сеть (тогда говорили о 10 слоях), она сможет делать всё, что человек способен сделать за доли секунды. Почему именно быстрые реакции? Потому что нейроны в мозге работают относительно медленно, и если искусственные нейроны похожи на настоящие, то такие быстрые задачи должны быть им по силам.

Конец эпохи существующего подхода

Суцкевер сделал важное заявление: текущий подход к обучению ИИ подходит к своему пределу. Вот его аргументация:

1. С одной стороны, наши возможности растут:
2. Появляется более мощное оборудование
3. Улучшаются алгоритмы
4. Строятся более крупные вычислительные системы

Но есть фундаментальные ограничения:
- У нас только один интернет - объем доступных данных для обучения ограничен
- Интернет как источник данных не бесконечен
- Мы приближаемся к пределу доступной информации для обучения ИИ

Что дальше?

Суцкевер видит несколько путей развития:
1. Создание систем, способных действовать самостоятельно (ИИ-агенты)
2. Использование синтетических данных
3. Новые подходы к обработке информации

Суцкевер показал график, демонстрирующий связь между размером тела и мозга у разных млекопитающих. Оказалось, что у человекообразных предков эта зависимость идет по другой траектории - природа нашла новый путь развития интеллекта. Это дает надежду, что и в ИИ возможен подобный прорыв.

Будущие системы ИИ

По мнению Суцкевера, следующее поколение ИИ будет принципиально отличаться от современного:
- Появится настоящая самостоятельность в действиях
- Системы научатся по-настоящему рассуждать
- Их поведение станет менее предсказуемым (как у сильных шахматных программ, которые удивляют даже гроссмейстеров)
- Они будут лучше учиться на небольшом количестве примеров
- Разовьют понимание себя

О проблеме ошибок и самоисправления

Суцкевер считает, что будущие системы смогут сами находить и исправлять свои ошибки, и отмечает, что некоторые современные модели уже начинают демонстрировать такие способности.

Суцкевер говорит: хотя будущее развития ИИ трудно предсказать точно, мы движемся к созданию систем с совершенно новыми возможностями. При этом увеличение способности к самостоятельным рассуждениям неизбежно сделает их поведение менее предсказуемым - это естественное следствие развития интеллекта.

BY Все о блокчейн/мозге/space/WEB 3.0 в России и мире