Еще немного фэйлов
#fail #fake_text_detection #kaggle

Собесов больше нет, а фэйлить хочется. Особенно рассказывать о них публично. Снижать publication bias тксказать. Так что вот еще.

Вторая попытка организовать соревнование по детекции LLM-генерированного контента тоже провалилась. Народ снова повыбивал 99+, причем в решениях я видел даже pre-BERT модели типа AWD LSTM. Будет семинар при ACL, на котором победители расскажут про решения, но уже понятно, что там особого научного прорыва не будет, скорее эксплойт наших косяков. На бумаге все норм, сделали сореву и воркшоп при топовой конфе, но по сути так себе.

Есть еще пара фэйлов, если чуть копнуть в историю. В стиле «мужик сказал - мужик сделал вид, что нихрена не говорил». Как-то мы с Андреем Лукьяненко участвовали в необычном соревновании на кэггле, где надо было эссе писать. Так вот мы ничего не выиграли, где-то на 50 место приземлились. Напрягло чутка, что среди победителей был обзор методов оптимизации, каких на Medium найдешь сотню.

А еще я как-то хотел больше ютуб-видео снимать, и этого, очевидно, не произошло 😅 так что больше обещать не буду, хотя есть идеи вернуться с новым контентом к своим 20к подписчикам. Ща только зарегаюсь в Роскомнадзоре.

​​Unveiling Encoder-Free Vision-Language Models

Существующие VLM в основном используют vision encoders для извлечения визуальных признаков, что может ограничивать их гибкость и эффективность. Обучение VLM, принимающих визуальные и языковые данные без encoders, является сложной задачей.

В данной статье авторы предлагают эффективный метод обучения с использованием одного лишь decoder. Моделька основана на Vicuna-8B.

Подход довольно интересный. Из минусов: могут получить качество сравнимое с другими VLM, но требуется заметно больше данных; модель лучше делает то, на что её натренировали, но при этом проявляется catastrophic forgetting в чисто языковых задачах и в выполнении инструкций; ну и используют Vicuna, а не что-то современнее. Тем не менее, идея интересная, может быть в будущем получит развитие.

Paper link
Code link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

Хотел бы поделиться крутым каналом в сфере ML - "Борис опять" (http://www.group-telegram.com/boris_again). Он работает тимлидом ML в Planet Farms уже Staff Machine Learning Engineer в eBay.

Пишет про:
• ML, программирование в целом и ИИ (в каком виде он сейчас существует). Например вот этот пост про то, можно ли разбогатеть, работая в стартапе
• стендап комедии (в каком ещё ML канале про это почитаешь?)
• всякое интересное и веселое по жизни, науке, магистратуре и многому другому.

В постах было немало полезного для меня, так что рекомендую.

Так же мы собрали небольшую папку авторских телеграм каналов в сфере AI/ML/DS:
Авторский ИИ (https://www.group-telegram.com/addlist/C_RSYpbW5mIyMjVi)

Welcome 👀

Crowdstrike уронил интернет, и как раз вчера на реддите критиковали эту компанию

Думаю, что многие уже ощутили или заметили сбой у Microsoft, от которого пострадали многие компании. Если же нет, то вот одна из многих ссылок.

Но я не об этом. Ровно вчера на реддите был пост с яростной критикой Crowdstrike:

 Crowdstrike is not worth 93 billion dollars (at time of writing).
Fear: CrowdStrike is an enterprise-grade employee spying app masquerading as a cloud application observability dashboard.

И прям на следующий день случился сбой. Какое интересное совпадение.

Mark Twain: Truth is stranger than fiction, but it is because Fiction is obliged to stick to possibilities; Truth isn't."

​​DCLM-7B от Apple. Натренирована на DCLM-Baseline, MMLU 63.72. Код и веса выложили

Apple выложила свою новую модель DCLM-Baseline-7B, которая натренирована на датасете DCLM-Baseline (2.5T tokens). Цель - показать, что модель, натренированная на аккуратно подготовленных данных, круто работает. никогда такого не было, и вот опять

Главным плюсом считается то, что доступен и датасет, и код, и веса модели.

https://huggingface.co/apple/DCLM-7B
https://github.com/mlfoundations/dclm
https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
https://arxiv.org/abs/2406.11794

#datascience

🚀 Если Вам интересно машинное обучение и/или математика - приглашаем Вас принять участие в проекте по применению методов МЛ/RL к теории групп/графов Кэли - напишите @alexander_v_c - если хотите принять участие, а также заходите на вводный вебинар (знаний теории групп не требуется):

👨‍🔬 Александр Червов (к.ф.-м.н) "Методы МЛ в теории групп - введение и обзор достигнутого"
⌚️ Понедельник 22 июля, 18.00 (по Москве)

Методы машинного обучения могут быть применены к ряду классических задач теории групп - разложение элемента по образующим, оценки диаметра. Мы приглашаем принять всех участие в данном проекте. Предварительное требование - знание Питона и наличие нескольких свободных часов в неделю. Если вы хотите улучшить свои знания по МЛ/RL и внести вклад в развитие науки - это отличный шанс .

В данном докладе мы простым языком объясним формулировки основных задач, и как задачи теории групп переводятся на язык машинного обучения. Предварительных знаний не требуется. Также, мы дадим обзор уже достигнутых результатов - в частности для группы порядка 4*10^19 (Rubik cube) нам уже удается находить решение задачи за минуты , а не 40 часов ГПУ как было в предыдущей работе "DeepCube".

План доклада:

1 Переформулировка основной задачи на простом языке матриц

2 Матрицы перестановок и группы типа кубика Рубика (см. ноутбук "Visualize allowed moves": https://www.kaggle.com/code/marksix/visualize-allowed-moves )

3 Графы Кэли и переформулировка основной задачи как поиск пути на графе

4 Случайные блуждания по графам - создание трейн сета для МЛ-модели

5 Подход к решению задач теории групп через машинное обучение. Оценка дистанции до цели через МЛ-модель и проблема наличия множественных локальных минимумов у этой оценки

6 Beam search. (Один из вариантов борьбы с застреваниями в локальных минимумах)

7 Бейзлайн реализация: МЛ+ Beam search - ноутбук: https://www.kaggle.com/code/alexandervc/baseline-1-for-permutations - решение кубика Рубика за пару минут

8 Cледующие шаги: RL-часть, улучшение нейросеток, улучшение трейн сета, улучшение beam search

Добавляйтесь в группу проекта: https://www.group-telegram.com/sberlogasci/10989 и пишите @alexander_v_c - если Вам интересно !

PS

См. также предыдущий вводный доклад:
https://www.group-telegram.com/sberlogasci/10989/15283 "Введение в методы поиска короткого пути на больших графах" (Кирилл Хоружий )

Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

​​Жаркое лето в Дубае

В этом году лето в Дубае ещё жарче, чем в прошлом году. И самая жара + влажность обычно в августе-сентябре.
😅

#life

​​RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

Интересная статья от NVIDIA с новым подходом к RAG - делают instruction-tuning одновременно для генерации ответа и для ранжирования контекста. Добавление таких датасетов для тренировки заметно улучшает качество, при этом данных достаточно не особо много.

В экспериментах Llama3-RankRAG обходит Llama3-ChatQA-1.5 и модели GPT-4 на девяти knowledge-intensive бенчмарках и показывает сопоставимые результаты с GPT-4 на пяти медицинских наборах данных без дополнительного instruction fine-tuning на биомедицинских данных, демонстрируя отличную способность к обобщению в новых областях.

Paper link

Мои обзоры:
Personal blog
Medium
Linkedin Pulse

#paperreview

https://ea.rna.nl/2024/05/27/when-chatgpt-summarises-it-actually-does-nothing-of-the-kind/

tldr: LLM могут сильно искажать факты при саммаризации сложных вещей вплоть до полностью противоположных выводов

​​Yet another sample size calculator

Я сегодня увидел на reddit неплохой тред с примером расчёта sample size для A/B тестов. Думаю, что если считаешь для себя, то настолько накрученные штуки не нужны, но показать stakeholders - самое то.

Сам калькулятор можно пощупать тут.

#datascience

Meta опубликовала новые модели Llama 3.1
https://llama.meta.com/

1) Теперь доступна модель размером в 405B, запустить у нас всех ее не получится (нужно промышленное железо) – про нее я напишу отдельно потом, как почитаю внятные тесты возможностей.

2) Помимо этого, Llama 3.1 вышла в 8B и 70B размерах, они поддерживают многоязычность и просто стали лучше в своих категориях, запускаться они смогут на том же железе где и работали прошлые версии. 

Вы наверное теперь понимаете почему OpenAI показало gpt4o mini неделю назад и сделала ее настолько дешевой – скоро у нас будут очень умные модели, которые очень быстро работают на любом железе

Meta классно создает давление на OpenAI через опенсорс, Цукерберг красавчик

DataChain от DVC

Пока многие обсуждают релиз LLama 3.1, поделюсь "приземленной" новостью. DVC выпустили продукт для управления неструктурированными данными.

🤖 AI-Driven Data Curation: Local models, LLM APIs
🚀 GenAI Dataset scale: Millions and billions of files
🐍 Python-friendly: Python objects instead of JSON

Github

#datascience

IT-пикник. Благотворительность для Карельского регистра доноров костного мозга

Ко мне тут обратились с неожиданной просьбой - распространить информацию об IT-ивенте с возможностью сделать пожертвование для помощи людям.

В Москве 17 августа пройдёт IT-пикник в Коломенском. Это семейное IT мероприятие - будут лекции, мастер-классы, воркшопы, музыка. А также доклады от технических людей из топовых компаний. Посещение возможно по пожертвованию от 1к рублей в один из 10 благотворительных фондов, и Карельский регистр - один их них. Он занимается помощью пациентам с лейкемией и пожертвованные деньги пойдут на на оплату обследования доноров, каждый из которых может спасти жизнь.

При регистрации на сайте пикника вам прийдёт ссылка на пожертвования, и там можно будет выбрать этот фонд. Сам я посетить ивент не смогу, поэтому пожертвование сделал просто напрямую по этой ссылке.

Фестиваль выглядит интересным, и дополнительно есть возможность помочь людям, так что рекомендую поучаствовать.

#life #datascience