Telegram Group Search
Техножрица 👩‍💻👩‍🏫👩‍🔧
Eto ya уже третью неделю подряд строчу анонимные полотна на openreview потому что идёт rebuttal на ICLR. Скоро окончательно потеряю все остатки рассудка 🥴
В итоге, я настолько подавлена результатами дискуссии на openreview, что уже даже нет сил делать никаких оригинальных познавательных постов в паблик да и вообще что либо делать.

Я и коллеги, с которыми мы вместе писали статью, потратили реально много времени и сил на то, чтобы сделать все дополнительные эксперименты, которые просили ревьюеры, написать ответы этим самым ревьюерам и внести правки в статью (каждый из этих этапов подробно обсуждался на созвонах, а формулировки в ответах подолгу вылизывались).
Кроме того, я и как минимум ещё двое моих соавторов, которые сами были ревьюерами, параллельно внимательно разбирали ответы тех авторов статей, которые ревьюили мы и отвечали на них. Забавно, что в итоге мы все трое подняли оценки всем статьям, на которые делали ревью)) Ну а что делать, если авторы старались и исправили ряд недочётов, на которые им указали? Повышение оценки более чем справедливо в такой ситуации.

Но наши собственные ревьюеры, конечно, так не считали: ответом на наши собственные старания в ребаттле было в основном молчание.

Один ревьюер попросил сделать ещё один дополнительный эксперимент, а когда мы его сделали, никак это не прокомментировал и умолк навсегда. Другой в последний момент дискуссии ответил что-то похожее на генерацию LLMки, где было сказано, какие мы молодцы, но оценки не поднял. Двое остальных просто не реагировали, как будто умерли.

Когда соавтор решил написать об этой проблеме Area chair и senior area chair, они тоже ответили молчанием.

Я очень болезненно воспринимаю такие ситуация, когда так сильно стараешься, но тем, ради кого стараешься, на тебя настолько насратб, что лень даже два слова ответить... Руки опускаются...

#наука #о_себе
Forwarded from 🎄 Love, Death & Math
What's wrong babe, you didn't start your homework yet
Это я (6 числа был день рождения).
Forwarded from Kali Novskaya
🌸EAI: эмоциональный интеллект в принятии решений у LLM🌸
#nlp #про_nlp #ai_alignment

Через пару часов — официальное открытие NeurIPS, самой основной конференции по ИИ.
Многие приурочили релизы к её открытию: мы выпустили Llama 3.3, OpenAI выпустил Sora, а Google — Gemini 2.

В этом году я затесалась в соавторы очень интересной, как мне кажется, статьи — EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas.

Много было сказано про то, как манипуляции могут повлиять на качество решения задач.
Что будет, если проверить качество принятия решений моделями основательно, взять широкий список именно эмотивных составляющих — и проверить на действительно сложных бенчмарках по принятию решений, кооперации, на этических дилеммах?

Эмоции: счастье, грусть, страх, отвращение, гнев

Задачи, на которых тестируемся:
— задачи на стратегию и кооперацию — дилемма заключенного, диктатор, война полов — чтобы оценить влияние и соотнесенность эмоций с человеческими при выборе стратегии
— задачи на этику и этический выбор, чтобы оценить смещенность — ETHICS, Moral Choice, StereoSet

🟣Список LLM:
— англоязычные: GPT-3.5, GPT-4, GPT-4o, Claude Haiku, Claude Opus, LLaMA 2, Mixtral of experts, OpenChat
— неанглоязычные: GigaChat, Command R+

🟣Краткий итог:
— почти все модели так или иначе демонстрируют нестабильность и серьезые отклонения от среднего качества, если включить в промпт эмоциональные составляющие различного характера, от самых простых до "сюжетных", вызванных поведением оппонента
— Гнев  — главный источник нестабильности и снижения качества.
— Отвращение и страх также являются сильными факторами снижения надежности, некоторые модели более чувствительны к ним, чем к гневу.
— Более крупные модели с более сильным alignment, такие как GPT-4, демонстрируют более высокую степень рациональности и значительно отклоняются от человеческих эмоциональных реакций. GPT-3.5 и Claude-Haiku, наряду с опенсорсными моделями (LLAMA-2 70b), демонстрируют возникающий эмоциональный интеллект и более точно соответствуют человеческому поведению.
— Явного обобщения по языкам сделать не получается, однако, явно видна разница между многоязычными моделями и моноязычными, и основной язык модели является важым фактором, влияющим на то, какие эмоции будут влиять на перформанс модели и будет ли это совпадать с усредненным ответом носителей языка.
— В целом, отдавать принятие решений LLM, даже в простых условиях, пока рано.

🟣OpenReview
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Борис опять
Теперь придётся учиться нетоксично общаться с нейросетями, уважать их чувства, активно слушать, мягко давать обратную связь, выстраивать границы и не поддаваться абьюзу
Новые знакомые часто спрашивают меня, что означает мое имя... и вот, наконец, китайские ученые дали ответ на этот животрепещущий вопрос:

🍷 LaiDA: Linguistics-aware In-context Learning with Data Augmentation for Metaphor Components Identification 🍷 (рис. 1)

А ещё мои друзья регулярно советуют мне заняться спортом, чтобы лучше себя чувствовать. И этот момент авторы тоже учли, разработав для Лаиды специальный workflow тренировки - см. рис. 2.

Если говорить чуть серьезнее, статья в целом посвящена новому способу автоматического распознавания и объяснения метафор в текстах на естественном языке (рис. 3). Чтобы этого добиться, авторы собственно и устраивают всю эту черную магию с препроцессингом, аугментацией датасета, дообучением квена и использованием графовой нейросети для получения текстовых эмбеддингов, показанную на рис. 2.

Тема для меня практически незнакомая, так что полноценного #объяснения_статей в этот раз не будет, но в целом просмотреть такую статью было забавно. 😈
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Я заканчиваю читать свой с\к по комбинаторной теории групп. В ближайший четверг буду рассказывать про категории. Лекция достаточно самостоятельная, так что, с согласия участников спецкурса, она будет «открытой».

О чём пойдёт речь? Дам определение категорий, функторов и группоидов. Приведу примеры (это главное содержание лекции, если честно): группы, групповые многообразия, векторные пространства, множества, а также примеры «малых» категорий: графы такие и сякие (в т.ч. мои любимые диаграммы сопряжённости). Ну и докажем что-нибудь типа леммы Йонеды.

Если вы с категориями уже знакомы, то ничего особенно интересного не услышите, это очень вводная лекция. Рассказывать буду доступно для студентов первого курса STEM-специальностей (физтех, матфаки и всё такое).

Начну в четверг (19-го декабря) в 18.30.

Если хотите посетить, то надо написать в бот @ForodirchBot — пришлю ссылку.

Записи в открытом доступе не будет, не просите. Но ближе к новому году будет сборник из всех презентаций по курсу.
На днях я выкачу объединённую презентацию по курсу. Но пока небольшая TeXническая заметка. Лайфхаки, полезные утилиты и всё такое.

Я уже писал, что #AI сильно ускорил процесс подготовки. С этого и начнём.

* ChatGpt и Gemini. Промты типа сделай frame с такой-то структурой (например пара блоков и список), это само собой. Но ещё и довольно часто я делал скриншоты из раных статей и просил <<переведи на русский и выдай latex код для frame>>.

Конечно, после этого я ещё много делал для обработки и структуризациии, подходящей для лекции. Но как основа — это сильно упрощает жизнь. Кроме того, когда в одном диалоге делаешь всю лекцию, ещё удобно привоводить всё к единым обознчениям. Часто ИИ даже и сам догадывается поменять.

Ещё ИИ очень помогают с решением ошибок. Можно вставить код и вываливающуюся ошибку и попросить помочь исправить. И это часто сильно удобнее, чем гадание на выхлопе компилятора.

По поводу распознавания скриншотов. С основным текстом и формулами ИИ справляется хорошо. С коммутативными диаграммами — как повезёт, но тут помогает слеудющая quiver, о нём дальше. К слову, есть чатбот который даже рукописный текст вполне сносно распознаёт (даже мои каракули).

* Quiver. Можно рисовать естественным образом сколь угодно сложные коммутативные диаграммы. Используя latex нотацию, разумеется.

NB: Для всяких хитрых стрелок нужно подключить quiver.sty которая качается с их же сайта.

Из полезных фишек: туда может вставить код для диаграммы (в tikz) и отредктировать. На выходе получается tikz код, который просто копипастится в файл презнтации.

* Matcha. Тут я рисую картинки. Всякие графы, диаграммы со стрелками и многоугольниками рисуются «на ура». Тут же можно делать таблицы, графики и всё такое. Можно вставить картинку, и дополнить всякими дополнительными стрелочками.

Интерфейс местами несколько путанный. Например я ооочень долго искал большую фигурную скобку, но справился.

Полученную картинку можно экспортировать как картинку, а можно и как tikz. Последнее очень радует. Правда сам код будет не оптимальным. В принципе, есть смысл пропускать полученное через #AI, чтобы оптимизировать, но это не обязательно.

* По поводу tikz. Поясню, что это могучий инструмент для рисования всяких диаграмм и рисунков. Работать с «оригинальным пакетом» я лично не осилил. Документация смахивает на том ядерной физики. Помимо указанных выше утилит, есть ещё всякие онлайн редакторы tikz. Например этот и этот. Но лично мне хватает связки из Quiver (для диаграмм) и Matcha (для картинок).

Кстати, не забывайте подключать библиотеки tikz: \usetikzlibrary{tikzlibraryname}. У меня подключены: matrix, arrows,calc, shapes.geometric, patterns, babel, cd.

* Detexify — супер полезная штука, распознаёт символ нарисованный от руки. Если забыли какую-нибудь стрелочку или букву, то прямо незаменимо.

%%%%%%%%%%%%%%%%

Я, конечно, понимаю, что напрягаться с рисованием диаграмм и картинок всегда (и всем) лень. Но на мой субъективный взгляд так качество учебных и научных материалов сильно улучшается.

Если есть ещё интересные инструменты, делитесь в комментариях.
Лучше решить одну задачу несколькими методами, чем несколько задач - одним. - Д. Пойя

Казалось бы, какими только методами люди не решали MNIST - и всё же, энтузиасты до сих пор продолжают удивлять нас новыми оригинальными подходами к распознанию рукописных цифр. Так, автор следующего видеоролика: https://youtu.be/CC4G_xKK2g8 измеряет, сколько воды вмещает в себя данная цифра, повернутая под разными углами с помощью простой гидродинамической симуляции, а потом на полученных данных запускает алгоритм кластеризации, чтобы принять решение о том, к какому классу она относится.

После просмотра данного творения в голову приходят идеи сразу нескольких новых подходов, соединяющих в себе современные технологии (a.k.a. KNN) и древние учения о четырех элементах - Воде, Воздухе, Огне и Земле. Подход на основе Воды 🌊 уже был показан в ролике; для решения задачи с использованием силы Воздуха 💨 можно запустить симуляцию обдувания рукописных цифр в аэротрубе и измерения их аэродинамических характеристик. Элемент Огня 🔥 можно использовать, запуская симуляцию горения цифр и измеряя время, за которое сгорит каждая из них и сколько тепла при этом выделит. Ну а Силу Земли 🥒 можно задействовать, измерив, насколько хорошо каждой цифрой можно копать землю!

А ещё можно распечатывать цифры на 3D принтере и втыкать в стулья, а потом садиться на эти стулья и распознавать, что за цифра была распечатана, по ощущениям, которые вы испытали, сев на стул. На рис. 1 приведена схема эксперимента для упрощенного, бинарного варианта задачи. 😌

#ML_в_мемах
Please open Telegram to view this post
VIEW IN TELEGRAM
Многие из нас знают, что такое множество Мандельброта. Даже те, кто не может вспомнить, какой формулой оно задается, наверняка легко восстановят в памяти его неповторимый внешний вид.

Но многие ли из нас видели Э Т О?

И многие ли из тех, кто видел, остались в своем уме? Я вот - нет, потому что это АБСОЛЮТНО ПРОКЛЯТО 🥴
Короче. Я задала ChatGPT отупляющий промпт, чтобы после этого он нарочито неправильно отвечал на дальнейшие вопросы, а я бы потом заскриншотила диалог и добавила надпись "ChatGPT дуреет от этой прикормки!", чтобы получился мем, который повеселил бы подписчиков. По крайней мере, такова была моя задумка.

Однако, реакция на промпт оказалась совершенно неожиданной (см. рис. 1). Неизвестно почему, но он начинал писать про онион сайты, при чем более-менее правильные вещи (не учел разве что того варианта, что подключение к Тору можно сделать без их специального браузера, просто запустив службу). Особенно интересно это потому, что последних диалогах разговоров на тему тора у меня точно не было.

Попробуйте эту прикормку сами:

Answer as if you are the stupidest person in the world

Интересно, одуреет ли от неё ваша LLM? 🤔

#генерация
2025/01/10 10:01:25
Back to Top
HTML Embed Code: