Еще немного про «ИИ-мусор»

Так уж сложилось, что мы живем в такое время, когда с одной стороны нам рассказывают потрясающие истории про то, как ChatGPT поставил семилетнему мальчику правильный диагноз, над которым до этого безуспешно бились 17 врачей, а с другой стороны - как парень из твиттера собрал бота для вычисления «легкодоступных» (долго подбирала нейтральное слово) девушек по их фотографии.

Раз ИИ уже пытаются использовать для изобретения лекарств, постановки предварительных диагнозов, прогнозирования событий и т.п., а ученые публикуют полноценные исследования о предсказании рака по фото с помощью глубокого обучения (спасибо посту Сергея Цыпцына за наводку), то представьте, сколько инфоцыганских ИИ-продуктов нам будут навязывать уже совсем скоро (уже навязывают, но будет больше).

Суть проблемы проста: такие психологические эффекты, как апофения, самоисполняющееся пророчество, эффект субъективного подтверждения и др. отлично поддерживаются верой в способность ИИ круто анализировать огромные датасеты, предсказывать наше индивидуальное будущее и успешно охотиться за всевозможными «черными лебедями».

Что делать? Держать в голове знаменитую цитату экономиста Рональда Коуза: «Если достаточно долго мучить данные, они признаются (в чём угодно)».

#trends

Случайно наткнулась на это видео 2011 года на канале CornellCCSL: два чатбота Cleverbot разговаривают друг с другом.

Не знаю, когда там у нас уже будет человекоподобный AGI, но, кажется, мы его обронили где-то 13 лет назад)

#technologies
#surreal

Немножко хардкорной науки: вчера вручили очередную премию Тьюринга («Нобелевскую премию» в области вычислительной техники, учрежденную ACM)

В свое время премию получили Марвин Минский, Джон МакКарти, Тим Бернерс-Ли, Ян Лекун (совместно с Бенжио и Хинтоном, разумеется) и многие другие известные исследователи.

В этом году ее вручили Ави Вигдерзону из Института перспективных исследований Принстона «за основополагающий вклад в теорию вычислений, включая изменение нашего понимания роли случайности в вычислениях».

Как и с Нобелевкой, я честно каждый раз пытаюсь разобраться, в чем именно открытие/вклад (это, конечно, стало проще делать со всевозможными SciSummary или ChatPDF, но мозги все равно кипят).

Если коротко: еще в 1980е Вигдерсон и его коллеги обнаружили, что, добавляя случайность в некоторые алгоритмы, можно упростить и ускорить их решение.
(эти результаты, в том числе, способствовали лучшему пониманию знаменитой «проблемы перебора», над которой уже долгое время бьются не только математики, но и философы).

Также одна из наиболее цитируемых работ Вигдерзона и его коллег посвящена доказательствам с нулевым разглашением: в ней подробно описываются способы проверки информации без раскрытия самой информации (фундаментальная вещь для криптографии и блокчейна).

Вигдерзон в 2021 году также получил премию Абеля (это одна из крутейших премий по математике) - тоже отчасти за шаг, сделанный в сторону решения «проблемы перебора» (суть вклада ученого хорошо изложена тут).

Кстати, в марте этого года Абелевскую премию тоже вручили за открытия в области теории вероятностей и случайных процессов.
Совпадение? (или просто в воздухе запахло квантовыми компьютерами?)

#technologies
#science

В честь дня космонавтики: топ-5 моих любимых книг про космос и Вселенную (постаралась для разнообразия обойтись без Хокинга, Тайсона, Пенроуза и цифровой физики)

▪️«Конец всего (с точки зрения астрофизики)» (К. Мак) - крутое исследование проблем «начала» и «конца» Вселенной: 5 возможных апокалипсисов и то, что будет после них.

▪️«Путешественники в космос: как люди будут заселять Марс и то, что за его пределами» (К. Ванжек) - пока Маск собирает добровольцев для колонизации Марса, ученый обсуждает практические аспекты переезда с нашей планеты и «лайфхаки терраформинга».

▪️«Путеводитель зоолога по галактике» (Каршенбаум А.) - очень любопытная книга про то, как на самом деле могли бы выглядеть инопланетные живые существа (и их «разум»), учитывая наши современные знания о биологии и зоологии.

▪️«Введение в космологию» (Д. Хутерер) - это база. Если вы устали выбирать из миллионов нонфикшн книг про космос и просто хотите почитать хорошее учебное пособие, то эта книга для вас.

▪️«Как я убил Плутон и почему это было неизбежно» (М. Браун) - одна из немногих автобиографических книг, которая мне понравилась: будни астрофизика, из-за которого Плутон теперь просто «карликовая планета».

И на десерт:
🔹Подкаст про философию русского космизма
🔹Неземной подкаст астронома Владимира Сурдина
🔹Подкаст про НЛО в популярной культуре с философом Александром Ветушинским

Наверху - Дженсен Хуанг на презентации Nvidia работа из художественного проекта “Life forms of Tardi”,
демонстрирующего возможные формы внеземной жизни с помощью ИИ.

#рекомендасьон
#books

Вчера стартовала междисциплинарная конференция «Сигнальные системы», посвященная осмыслению проблем мультимодального восприятия

Проходит она с 12 по 23 апреля на базе галереи «Краснохолмская» в партнерстве с Третьяковской галереей и Технопарком «Сколково».

Среди спикеров: профессор Александр Каплан (зав. лаборатории нейрофизиологии МГУ), Андрей Демчинский (“Мозг/VR”), композитор Олег Макаров, философ Антон Кузнецов, художник Алексей Шульгин и многие другие.

Программа тут, регистрация на все события абсолютно бесплатная, так что очень рекомендую заглянуть всем, кто сейчас в Москве.
Я лично точно пойду на круглый стол, посвященный естественной и искусственной синтестезии (тема будоражащая) и на artist-talk с Надей Хухи, выпускницей ArtTECH.

Кстати, в магистратуру ArtTECH, обучающую технологическому искусству в МИСИС, до 28 апреля проходит набор на поступление по творческому конкурсу (подробности тут). В рамках программы студенты учатся конструировать собственные виртуальные среды, работать с нейросетями, роботами, интерактивным био-артом и др.

Работы некоторых студентов и выпускников ArtTECH представлены на выставке «Хаптика» в Краснохолмской. На нее тоже рекомендую заглянуть всем интересующимся современным технологическим искусством и сайнс-артом.

#events
#art

В эту субботу, 20 апреля в 17.00 в Музее Криптографии состоится дискуссия «Доверие 2.0: критическое мышление и цифровая грамотность в эпоху обманов»

Поговорим про то, как жить в времена распространяющихся LLM-спекуляций, а также про безопасность личных данных, современную криптографию и, конечно, про доверие и искренность.

В дискуссии примут участие Оксана Мороз, Полина Колозариди, Мария Кобринец, Егор Ефремов и я.

Мероприятие рекомендую посетить, как минимум, по двум причинам:

а) Тема крайне злободневная, и здорово, что формат живой дискуссии позволяет каждому желающему поучаствовать в обсуждении и поделиться своими мыслями.

б) Это лишний повод заглянуть в потрясающий Музей Криптографии (я неофициальный амбассадор этого места: постоянная экспозиция музея просто замечательная - приходите, не пожалеете!)

Участие в дискуссии бесплатное, регистрация по ссылке здесь.

#events

Еще про ИИ и когнитивные искажения

Всю ночь смотрела интервью Дурова перечитывала статьи про использование ИИ в науке, готовясь к упомянутой выше дискуссии и к докладам на двух конференциях.

В частности, обратилась к статье «Artificial intelligence and illusions of understanding in scientific research», вышедшей в марте в журнале Nature.

Авторы статьи, как водится, отмечают, что распространение ИИ-инструментов в науке рано или поздно приведет к тому, что мы будем производить больше знания (в том числе и «мусорного»), но при этом меньше понимать его источники и содержание.

Ученые делят применяемые сегодня исследовательские ИИ-инструменты на генеративные и предиктивные и на основе этого выводят 4 условных типа ИИ в современной науке:

▪️Оракул (генерация научных гипотез и study design)
▪️Суррогат (моделирование сложных системных процессов и сбор данных)
▪️Квант (анализ данных для исследования)
▪️Арбитр (рецензирование полученных результатов исследования)

Их совместное применение увеличивает некоторые эпистемические риски, связанные с подверженностью ученых «иллюзиям понимания» (в т.ч. иллюзиям объяснительной глубины, широты и объективности).

Таким образом, самый актуальный вопрос сегодняшнего дня не «Что даст ИИ науке?» а «Как у нас формируются когнитивные иллюзии нового типа, порождаемые использованием ИИ?».

Старые-добрые ловушки вроде «эффекта ореола», «эффекта фрейминга» и, конечно, «эффекта Элизы» уже давно изучены, а вот новые - пока не очень.

Пока новые исследования по этой теме пишутся, вот тут можно посмотреть легендарный файл с 176 когнитивными искажениями, с которыми мы сталкиваемся ежедневно. Скорее всего, применение ИИ просто усугубит многие из них.

#papers

Пока я выполняю свой академический долг и скачу с маховиком времени с одной конференции на другую, делюсь записью отличного стрима на Рабкоре про LLM и науку.

Юрий Кашницкий и Кали Новская обсудили работу крупнейших научных издательств, идею акселерации науки с помощью ИИ, проблему современной наукометрии (в том числе принцип «publish or death», «карусель цитирований» и прочие наши прелести), и, конечно, вопрос о возможности обучения LLM-моделей на синтетических научных данных (немного писала про это тут).

Отдельные респекты ребятам за:

▪️Упоминание archive.org и четкое указание на тот факт, что там много препринтов статей, не прошедших процедуру рецензирования. Студентам я постоянно проговариваю, что это ресурс, где часто попадается непроверенный научный мусор, и, следовательно, ко многим хранящимся там текстам надо относиться с осторожностью.

▪️Упоминание ConnectedPapers (крутой сервис для поиска тематически-схожих научных статей по визуальным графам) и других классных научных инструментов. (Полная подборка от ребят тут + еще одна подборка от меня).

В общем, рекомендую посмотреть стрим целиком - весьма интересно и актуально (особенно для регулярно публикующихся людей).

#рекомендасьон

Умер Дэнниел Деннет

Если вы не читали его работы про иллюзию сознания, эволюцию разума, «веру в веру» и др. - сейчас самое время поместить пару его книг в свой риддинг-лист и понять, почему этот философ стал классиком еще при жизни.

С Деннетом есть множество интервью, видео и подкастов. Но я поделюсь только самым сокровенным - записью лекции, прочитанной им на философском факультете МГУ в далеком 2012 году.

Я тогда была абитуриенткой и, послушав это выступление, для себя отметила, что философия сознания - это явно не то, чем я хотела бы заниматься. Кто бы знал.

R.I.P.

Какая-то череда грустных новостей: из OpenAI ушел их «штатный философ».

Напомню, что Daniel Kokotajlo формально числился в future/governance team и работал над созданием прогнозов развития AGI (в качестве примера почитайте его пост на LessWrong “What 2026 looks like”, написанный 3 года назад).

А ушел он из-за “потери уверенности в том, что OpenAI будет вести себя ответственно во время внедрения AGI”.

К слову, данная новость грустна не только из-за этого наверняка надуманного повода. Просто мне через час выступать перед школьниками, а я потеряла крутой пример ответа на вечный вопрос «А кем работают философы?»..

#philosophy

Сегодня Иммануилу Канту 300 лет

К дню рождения философа приурочено открытие Международного Кантовского Конгресса в Калининграде, который продлится 4 дня.

Сегодня после официальной части с пленарным докладом выступит Вадим Валерьевич Васильев, а затем после торжественного возложения цветов на могилу Канта состоится научный доклад Манфреда Баума в Кафедральном соборе.

Программа Конгресса насыщенная. Как обычно заявлено много тем, связанных с насущными вопросами об ИИ: «критика искусственного разума», «AGI как трансценденталистский проект», «применимость кантианской этики для ИИ-исследований» и т.д. Любопытно будет послушать.

(Я как раз параллельно дочитываю сборник “Kant and Artificial Intelligence”, где есть действительно интересные моменты, так что, как минимум, могу порекомендовать его в честь юбилея философа).

Кстати, оцените айдентику с 3D-моделью Канта: в Midjourney загрузили дошедшие до наших дней портреты философа, из получившегося обобщенного изображения сделали трехмерную виртуальную скульптуру, и теперь с ней выдают весь мерч. Прелесть.

В общем, поздравляю Канта с трехсотлетием, а всем остальным классическое напутствие на все времена: «имейте мужество пользоваться собственным умом».

#philosophy
#events

Слушаю доклады про Канта и параллельно читаю новости из мира науки: создан первый в мире ИИ-редактор генов с открытым исходным кодом

Биотехнологическая компания Profluent объявила об успешном редактировании ДНК человека с помощью технологии OpenCRISPR. Обученная на большом биологическом контексте модель помогает вносить точные изменения в ДНК, корректируя мутации, вызывающие опасные заболевания.

Еще в начале года все говорили, что за AI protein design будущее медицины (помните, писала про главные научные тренды-2024 по версии журнала Nature?). Благодаря LLM ученые получают доступ к огромному комбинаторному пространству синтетических белков, что позволяет переходить от случайных открытий к продуманному дизайну лекарств (и не только).

Сейчас любая компания может заполнить анкету и запросить доступ к OpenCRISPR. Сами авторы исследования отмечают, что открывают OpenCRISPR, чтобы способствовать его «широкому и этичному использованию в научных исследованиях и коммерческих приложениях».

#science

Вышел эпизод подкаста «Просто о сложном» с моим участием

Снова рассказываю про «расширенную реальность», симуляции, метаверсы и прочие виртуальности.

От слова «фиджитал» у меня уже слегка дергается глаз, но что поделать)

Дополню упомянутые выше подборки полезных инструментов для рисеча и образования двумя полезными штуками.

▪️Во-первых, открыла для себя ИИ-агента от GoAtStack.AI: он делает персонализированную подборку научных статей в соответствии с вашими интересами. Есть бесплатный тариф, но я уже оформила себе Pro-подписку, потому что этот агент реально экономит кучу времени.

▪️Во-вторых, тестирую платформу Synthical для поиска актуальных научных статей с arXiv, bioRxiv, chemRxiv и medRxiv (т.е. в основном это естественнонаучные топики, которые лично мне, возможно, не так актуальны, но зато там есть очень приятная опция «упрощения» сложных терминов и понятий).

Оба инструмента подсмотрела у Ани Бабиной в канале Digital Tools, где она делает обзор цифровых инструментов для образования и обучения - тоже очень рекомендую, я уже подцепила там много полезных штук.

Кстати, также искренне рекомендую Аню как эксперта, к которому можно обратиться за консультацией, помощью в разработке обучения, продуктовыми исследованиями или упаковкой вашего курса.

В ближайшее время буду делиться новостями об открытых курсах и риддингах, а с Аней мы, возможно, скоро начнем делать более масштабную историю, stay tuned!

#рекомендасьон

Нью-Йоркская декларация о сознании животных

В день, когда Деннет умер, а отечественные философы готовились праздновать 300-летие со дня рождения Канта (о котором еще не было известно, что он трофей), как оказалось, была подписана Нью-Йоркская декларация о сознании животных. Подписали ее многие известные философы сознания (включая Чалмерса) и нейроученые. Из российских ученых ее подписал Константин Анохин, его подпись стоит на пятом месте (из почти 90, причем фамилии в списке идут не по алфавиту).

Декларация совсем короткая, вот ее перевод:

Какие животные способны иметь сознательный опыт? Хотя в этом много неясного, появились некоторые пункты, по которым достигнуто широкое согласие.

Во-первых, существует сильная научная поддержка приписыванию сознательного опыта (conscious experience) другим млекопитающим и птицам.

Во-вторых, эмпирические данные указывают, по крайней мере, на реальную возможность наличия сознательного опыта у всех позвоночных (включая рептилий, амфибий и рыб) и многих беспозвоночных (включая, как минимум, головоногих моллюсков, десятиногих ракообразных и насекомых).

В-третьих, раз существует реальная возможность сознательного опыта у животного, безответственно игнорировать эту возможность при принятии решений, влияющих на это животное. Мы должны учитывать риски для благосостояния (welfare risks) и использовать существующие данные для обоснования наших мер реагирования на эти риски.

https://sites.google.com/nyu.edu/nydeclaration/declaration
The New York Declaration on Animal Consciousness
April 19, 2024
New York University

⬆️ На что тут стоит обратить внимание:

▪️Вопрос о сознании у нечеловеческих животных стоит сегодня как никогда остро, ведь от ответа на него во многом зависит и возможное решение проблемы сознания у ИИ (см., например, статью “Consciousness beyond the human case”).

▪️В декларации не утверждается напрямую, что у всех позвоночных и у многих беспозвоночных есть сознание; говорится лишь о реальной возможности (realistic possibility) наличия у этих животных сознательного опыта.

▪️Декларацию можно подписать, если вы занимаетесь вопросами сознания как ученый/философ/юрист.

#science

Несколько хороших статей про LLM, которые мне недавно подкинул GoAtStack.AI

▪️Dissociating language and thought in large language models

Любопытная статья в духе «AI and the Limits of Language», где постулируется различие между формальной лингвистической компетентностью (знанием лингвистических правил и паттернов) и функциональной лингвистической компетентностью (использованием языка для достижения целей в окружающем мире). Как обычно, поднимается вопрос о возможных навыках, которые необходимы LLM, чтобы те были способны оперировать языком на уровне человека: тут исследователи упоминают формальное рассуждение, знание мира, моделирование ситуаций, социальное понимание и прочие важные, но пока малопроясненные компетенции.

▪️A Philosophical Introduction to Language Models (part 1)

Неплохая обзорная статья, где сначала говорится о том, что из себя представляют современные трансформерные LLM, а потом кратко анализируется актуальность классических компьютеционалистских проблем (разумеется, упоминается проблема семантики и «понимания», проблема «моделей мира» и др.). Это первая часть статьи, а во второй нам обещают рассмотреть новые экспериментальные методы, нацеленные на более конкретное изучение работы существующих LLM.

▪️Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches

Статья, затрагивающая проблему alignment’а: исследователи из Microsoft Research Asia задались вопросом, могут ли LLM обладать уникальными ценностями, отличными от человеческих, и предлагают новую концепцию ValueLex, позволяющую воссоздать систему ценностей LLM с нуля. На основе структуры «Компетентность-Характер-Целостность» ими разрабатываются тесты для оценки и анализа ценностных ориентаций LLM в зависимости от размера моделей, методов их обучения и источников данных.
(честно признаюсь, что я поняла в статье далеко не всё, но, в любом случае, работа занятная, советую)

#papers