Kali Novskaya

#nlp #про_nlp #agi_russia #длиннопост
🌸 10 причин, почему не нужно заниматься AI Alignment 🌸

Постепенно изучаю вместе с вами тему AI Alignment. AI Alignment – проблема контроля ИИ и передачи ему общечеловеческих ценностей.

Тема поднималась уже много раз, например, Gonzo ML собрал частые аргументы противников приостановки исследований на 6 месяцев. Ян Лекун, опять же, ничего не боится и нам не советует.
Я письмо тогда подписала, и аргументы мне показались важными, поэтому, публикую для вас мой вольный пересказ списка контраргументов из книги Стюарта Рассела “Human Compatible”.

Причина 1. Мы никогда не сделаем AGI, чего беспокоиться. Аргумент достаточно странный, учитывая, как активно в этом направлении ведется работа. Там мы делаем или нет? Обычно, когда дата-саентистов атакуют специалисты другого профиля, то мы говорим, что челоыеческий и сверхчеловеческий интеллект возможен и вообще все о-го-го.

Причина 2. Ну...Может, мы все-таки когда-нибудь сделаем AGI, но говорить про это пока рано. А когда надо вообще беспокоиться? Если бы было известно, что через 50 лет прилетит астероид, то когда бы надо начинать готовиться? Вопрос на самом деле не в том, когда это произойдет, а сколько времени нам вообще нужно для подготовки.

Причина 3. Беспокоиться о ценностях AGI = беспокоиться о перенаселении на Марсе. Похоже на предыдущий аргумент, илшь с тем отличием, что мы как бы пилотируем целую миссию на Марс, но при этом совсем не думаем о том, что будет, когда мы прилетим. Будет сюрприз!

Причина 4. Если есть беспокойство по поводу плохих целей, так и не надо закладывать в модель такие цели. Множество целей, эксплицитно не заложенных в агенты, появляются в ходе обучения сами, так как они позволяют достигнуть более высокиз результатов по широкому ряду эксплицитно выраженных задач, например, цель самосохранения.

Причина 5. Давайте вообще цели ИИ не задавать, и нет проблем. Давайте строить машину без тормозов сразу! так точно безопаснее.

Причина 6. Беспокоиться не нужно, потому что люди все равно не уйдут из цепочки принятия решений. ИИ и люди будут работать в команде. И многие подходы к безопасности действительно включают такой пункт. Однако, это не является решением проблемы. Представим, что вместо проработки безопасности атомного реактора мы просто говорим, что люди все время будут следить из комнаты управления. Безопасно? Коллаборация машин и людей возможна, если их цели совпадают.

Причина 7. Это же наука, прогресс неостановим. Работать все равно ничего не будет. Исследования в целом вполне возможно остановить, и мы даже много раз делали это. Исследования клонирования человека, химическое оружие, ослепляющие лазеры и т.д. — согласие в сообществе останавливает разработки.

Причина 8. Луддиты! Кто против ИИ, просто ничего в нем не смыслит. Если список подписавших письмо можно и оспорить, то вот список ученых, которые в свое время высказывали опасения, что с целями и безопасностью ИИ надо работать: Алан Тьюринг, Ирвинг Джон Гуд, Норберт Винер, Марвин Мински. А аргументы ad hominem вообще так себе.

Причина 9. Если будет проблема, то просто выключим. Ну ок. А если AGI это предвидит?

Причина 10. О рисках лучше не говорить, иначе не дадут инвестиций. О рисках все равно нужно говорить, не обязательно делать из этого пиар-компанию. Излишний упор на создание имиджа безпасности вокруг проблемы как раз обычно и приводит к промышленным инцидентам.

www.group-telegram.com/fr/rybolos_channel.com/629

8.0K viewsTatiana Shavrina, Apr 17, 2023 at 16:41

#nlp #про_nlp #agi_russia #длиннопост
🌸 10 причин, почему не нужно заниматься AI Alignment 🌸

Постепенно изучаю вместе с вами тему AI Alignment. AI Alignment – проблема контроля ИИ и передачи ему общечеловеческих ценностей.

Тема поднималась уже много раз, например, Gonzo ML собрал частые аргументы противников приостановки исследований на 6 месяцев. Ян Лекун, опять же, ничего не боится и нам не советует.
Я письмо тогда подписала, и аргументы мне показались важными, поэтому, публикую для вас мой вольный пересказ списка контраргументов из книги Стюарта Рассела “Human Compatible”.

Причина 1. Мы никогда не сделаем AGI, чего беспокоиться. Аргумент достаточно странный, учитывая, как активно в этом направлении ведется работа. Там мы делаем или нет? Обычно, когда дата-саентистов атакуют специалисты другого профиля, то мы говорим, что челоыеческий и сверхчеловеческий интеллект возможен и вообще все о-го-го.

Причина 2. Ну...Может, мы все-таки когда-нибудь сделаем AGI, но говорить про это пока рано. А когда надо вообще беспокоиться? Если бы было известно, что через 50 лет прилетит астероид, то когда бы надо начинать готовиться? Вопрос на самом деле не в том, когда это произойдет, а сколько времени нам вообще нужно для подготовки.

Причина 3. Беспокоиться о ценностях AGI = беспокоиться о перенаселении на Марсе. Похоже на предыдущий аргумент, илшь с тем отличием, что мы как бы пилотируем целую миссию на Марс, но при этом совсем не думаем о том, что будет, когда мы прилетим. Будет сюрприз!

Причина 4. Если есть беспокойство по поводу плохих целей, так и не надо закладывать в модель такие цели. Множество целей, эксплицитно не заложенных в агенты, появляются в ходе обучения сами, так как они позволяют достигнуть более высокиз результатов по широкому ряду эксплицитно выраженных задач, например, цель самосохранения.

Причина 5. Давайте вообще цели ИИ не задавать, и нет проблем. Давайте строить машину без тормозов сразу! так точно безопаснее.

Причина 6. Беспокоиться не нужно, потому что люди все равно не уйдут из цепочки принятия решений. ИИ и люди будут работать в команде. И многие подходы к безопасности действительно включают такой пункт. Однако, это не является решением проблемы. Представим, что вместо проработки безопасности атомного реактора мы просто говорим, что люди все время будут следить из комнаты управления. Безопасно? Коллаборация машин и людей возможна, если их цели совпадают.

Причина 7. Это же наука, прогресс неостановим. Работать все равно ничего не будет. Исследования в целом вполне возможно остановить, и мы даже много раз делали это. Исследования клонирования человека, химическое оружие, ослепляющие лазеры и т.д. — согласие в сообществе останавливает разработки.

Причина 8. Луддиты! Кто против ИИ, просто ничего в нем не смыслит. Если список подписавших письмо можно и оспорить, то вот список ученых, которые в свое время высказывали опасения, что с целями и безопасностью ИИ надо работать: Алан Тьюринг, Ирвинг Джон Гуд, Норберт Винер, Марвин Мински. А аргументы ad hominem вообще так себе.

Причина 9. Если будет проблема, то просто выключим. Ну ок. А если AGI это предвидит?

Причина 10. О рисках лучше не говорить, иначе не дадут инвестиций. О рисках все равно нужно говорить, не обязательно делать из этого пиар-компанию. Излишний упор на создание имиджа безпасности вокруг проблемы как раз обычно и приводит к промышленным инцидентам.

BY Kali Novskaya