Все о блокчейн/мозге/space/WEB 3.0 в России и мире

Все о блокчейн/мозге/space/WEB 3.0 в России и мире

⚡️ Google только что выпустили систему AI co-scientist (ИИ-научный партнер) Это мультиагентная ИИ-система, построенная на базе Gemini 2.0. Основная цель системы - помогать учёным генерировать новые научные гипотезы и ускорять научные открытия. Это гораздо…

Против ИИ-агентов. Иной путь развития ИИ от Й. Бенджио лауреата премии Тьюринга

Йошуа Бенджио, лауреат премии Тьюринга и один из пионеров глубокого обучения, вместе с коллегами из Mila — Quebec AI Institute предложил новый подход к развитию ИИ, направленный на снижение рисков - Scientist AI.

Вместо создания ИИ-агентов, предлагают иной подход к развитию ИИ:

1. Основные принципы:
- Фокус на понимании мира, а не на действиях в нем
- Отсутствие собственных целей и агентности
- Строгая ограниченность выходных данных вероятностными оценками

2. Техническая реализация:
- Байесовский подход к обработке неопределенности
- Модель мира для генерации объяснительных теорий
- Машина логического вывода для ответов на вопросы
- Улучшение точности с ростом вычислительных ресурсов

3. Встроенные механизмы безопасности:
- Отсутствие внутреннего состояния между запросами
- Контрфактуальные запросы для избежания влияния на реальный мир
- Многоуровневая система проверки выводов

Области применения

1. Научные исследования:
- Помощь в генерации и проверке гипотез
- Анализ научной литературы
- Планирование экспериментов

2. Система безопасности для других ИИ:
- Проверка действий агентных систем
- Оценка рисков предлагаемых решений
- Предотвращение опасных сценариев

3. Безопасное развитие продвинутого ИИ:
- Исследование потенциальных рисков
- Разработка механизмов контроля
- Тестирование безопасности новых систем

Напомним, что на прошлой неделе Google представили AI co-scientist - ИИ-агент для научных исследований. По мнению Бенджио, агенты несут фундаментальные риски:

- Возможность развития скрытых целей и самосохранения
- Риск обмана и манипуляций
- Потенциальная потеря человеческого контроля
- Усиление этих рисков с ростом возможностей ИИ

Подход Бенджио выходит далеко за рамки создания еще одного инструмента для научных исследований. Это попытка предложить принципиально новый путь развития ИИ, который:

- Сохраняет полезные возможности современного ИИ
- Минимизирует риски потери контроля
- Обеспечивает прозрачность и интерпретируемость
- Масштабируется безопасным образом.

www.group-telegram.com/sa/blockchainRF.com/11314

3.6K viewsedited  Feb 24 at 09:27

Против ИИ-агентов. Иной путь развития ИИ от Й. Бенджио лауреата премии Тьюринга

Йошуа Бенджио, лауреат премии Тьюринга и один из пионеров глубокого обучения, вместе с коллегами из Mila — Quebec AI Institute предложил новый подход к развитию ИИ, направленный на снижение рисков - Scientist AI.

Вместо создания ИИ-агентов, предлагают иной подход к развитию ИИ:

1. Основные принципы:
- Фокус на понимании мира, а не на действиях в нем
- Отсутствие собственных целей и агентности
- Строгая ограниченность выходных данных вероятностными оценками

2. Техническая реализация:
- Байесовский подход к обработке неопределенности
- Модель мира для генерации объяснительных теорий
- Машина логического вывода для ответов на вопросы
- Улучшение точности с ростом вычислительных ресурсов

3. Встроенные механизмы безопасности:
- Отсутствие внутреннего состояния между запросами
- Контрфактуальные запросы для избежания влияния на реальный мир
- Многоуровневая система проверки выводов

Области применения

1. Научные исследования:
- Помощь в генерации и проверке гипотез
- Анализ научной литературы
- Планирование экспериментов

2. Система безопасности для других ИИ:
- Проверка действий агентных систем
- Оценка рисков предлагаемых решений
- Предотвращение опасных сценариев

3. Безопасное развитие продвинутого ИИ:
- Исследование потенциальных рисков
- Разработка механизмов контроля
- Тестирование безопасности новых систем

Напомним, что на прошлой неделе Google представили AI co-scientist - ИИ-агент для научных исследований. По мнению Бенджио, агенты несут фундаментальные риски:

- Возможность развития скрытых целей и самосохранения
- Риск обмана и манипуляций
- Потенциальная потеря человеческого контроля
- Усиление этих рисков с ростом возможностей ИИ

Подход Бенджио выходит далеко за рамки создания еще одного инструмента для научных исследований. Это попытка предложить принципиально новый путь развития ИИ, который:

- Сохраняет полезные возможности современного ИИ
- Минимизирует риски потери контроля
- Обеспечивает прозрачность и интерпретируемость
- Масштабируется безопасным образом.

BY Все о блокчейн/мозге/space/WEB 3.0 в России и мире