Краудсорсинг

Конечно, все знают про такой метод сбора данных, а вот пользоваться им как следует умеют далеко не все.

Самый простой метод для краудсорсинга — опубликовать задания в интернете, к примеру, на Толоке или Amazon MTurk. Это хороший вариант, когда нужно что-то простое: исполнителей можно попросить сфотографироваться на различном фоне, дома или на улице.

А еще так вы получаете доступ к большому количеству людей из разных стран. К примеру, вам нужен сбор данных исполнителей с разным цветом кожи. Тогда этот вариант идеален для вас.

Но проблема краудсорсинга состоит в том, что таким образом не получится снять что-то сложное, что требует реквизита или несколько этапов работы. Так что главное в таких проектах — разработать четкую инструкцию для исполнителей и приложить примеры необходимых данных.

Однако бывают задачи, которые невозможно решить только лишь с помощью данных из интернета, уже существующих или даже собранных оттуда. К примеру, для создания технологии liveness (способность нейросети отличать живое лицо от его неживых аналогов) нам нужно лицо человека и картонная маска или другой инвентарь.

А как же собрать данные вручную?

Читайте в нашем следующем посте.

И поставьте любую реакцию, если вам интересна тема сбора, чтобы мы больше о ней писали.

А если вам нечем заняться пятничным вечером, то мы оставим вам подкаст Dwarkesh Patel с двумя гостями из LLM. Trenton Bricken благодаря бэкграунду максимально погружен в связь между машинным обучением и нейросаенсом, а Sholto Douglas из DeepMind считают одним из перспективных молодых специалистов в сфере.

Один из комментаторов написал, что этот подкаст легко мог бы быть курсом за 1000 долларов, и мы полностью с ним согласны.

О чем рассказывают:

🧬Intelligence is just associations
🧬Intelligence explosion & great researchers
🧬Superposition & secret communication
🧬Agents & true reasoning
🧬How Sholto & Trenton got into AI research
🧬Are feature spaces the wrong way to think about intelligence?
🧬Will interp actually work on superhuman models

https://youtu.be/UTuuTTnjxMQ?si=eUstFg23rNqtDewQ

А если вы уже смотрели, то пишите свой фидбэк в комментариях.

Ручной сбор данных: 5 лайфхаков 💪🏻

Нас часто спрашивают, как собирать данные вручную и на что важно обращать внимание в процессе? На самом деле в ручном сборе данных есть несколько главных параметров, от которых и зависит качество данных.

Определяемся с условиями: как их прописать?

Первое — это условия съемки. Определяемся, снимаем мы на улице или в помещении. Проводить сбор данных в офисе проще, однако сейчас видеоаналитика применяется в том числе к действиям на улице, в помещении воссоздать такие условия не получится. Начинаем мы с бэкграунда: это офис, улица, парк? Какой уровень освещённости нам нужен: темно или светло, естественный свет или искусственный? Стоит учитывать время суток и время года.

Как правильно снимать людей?

Также в самой съемке людей есть много важных моментов. Нужно определить длительность нахождения и местоположение человека в кадре. Часто бывает необходимо сделать видео одного и того же человека в похожих условиях, но с отличным фоном. Влияет также устройство, на которое мы снимаем.

Как составить инструкции?

Главный совет — сделать процесс максимально понятным для исполнителя. К примеру, во время съемки в офисе или на улице можно отметить места, где человек будет находиться.

Также очень помогает составление инструкции, где все действия для актера прописываются детально и с изображениями. Лучше всего напечатать эти инструкции, к тому же такая памятка помогает и менеджеру. Для удаленного же сбора лучше сначала снять данные самостоятельно и эти примеры отправить как приложение к текстовой инструкции.

Атрибуты: что нужно для съемки?

Помимо всего, надо решить, в какой одежде будет актер, нужны ли головные уборы или атрибуты: усы, очки, капюшон, макияж. Должно быть понятно, сколько нужно мужчин и женщин. То есть важно все то, что может повлиять на восприятие лица. От возраста тоже зависит способность нейросети распознавать людей. Легче всего нейросеть различает ребёнка и пожилого человека. Но вот меньшую разницу в возрасте заметить уже сложнее.

Как менеджеру подготовиться к сбору?

Очень важный пункт — менеджер обязательно должен поучаствовать в съемках и самостоятельно пройти этот процесс. Только после этого можно понять, какие требования предъявлять статистам и как их лучше донести.

#где_сбор_лебовски

🔍 Благодаря сбору данных клиент улучшил биометрическую систему по распознаванию лиц и голосов на 21%. Как мы это сделали?

Подводя итоги нашей недели про сбор данных, хотели поделиться интересным кейсом из нашего опыта.

Клиенту нужно было собрать данные для улучшения системы распознавания лиц и речи. Техническое задание заказчика подразумевало уникальный сбор данных (фото, видео) оффлайн, строгие критерии к звуку и формату съемки. Также важно было собрать 1000 участников для съемки. Клиент не мог организовать сбор данных в таком объеме и формате, поэтому обратился к Training Data

В результате сбора:

Клиент улучшил биометрическую систему по распознаванию лиц и голосов на 21%

Собрали уникальный датасет с более чем 400'000 единицами данных от 1000 офлайн участников

Как нам удалось добиться таких результатов? Рассказали в нашем кейсе по ссылке:

https://trainingdata.ru/cases/face-and-speech-recognition

#где_кейсы_лебовски

Всем привет, Роман Куцев на связи!

Прошлой осенью заезжал в гости к Евгению Никитину, автору канала Варим МЛ, и заодно вместе с ним выступил на ML конференции TechTrain.

И вот, спустя почти год организаторы выложили видео с докладов в открытый доступ.
Если вам интересно как с помощью ML оптимизировать разметку, и какие тренды по разметке ждут нас в будущем, ссылка на видео 👇🏻
https://youtu.be/KFWCN4_sEGg

Всем привет, Роман Куцев на связи!

Продолжаю делиться своими выступлениями, которые накопились за прошедший год.
В этом докладе я решил осветить важную тему:
Как же можно достигать высокое качество при разметке данных.
Хоть правила и советы крайне простые, но внедрение их в ваш пайплайн разметки даст сильный прирост качества (проверено на Training Data)

Ссылка на видео 👇🏻
https://youtu.be/mdQqRh-IPD8

Всем привет! На связи Роман Куцев.
Много интересных проектов запускаю в последнее время. И об одном проекте я сегодня хочу вам рассказать)

Месяц назад я создал своего цифрового аватара, чтобы они вел соц сети вместо меня.
Тематику и миссию проекта выбрал следующую: освещать передовые события в сфере AI, нейростетей и показывать людям, как с помощью новых технологий оптимизировать свою работу.

Первый месяц прошел успешно. Завирусились видео и в ТикТоке, и в инсте, и на ютюбе.
Цель: 10к подписчиков до конца лета.
Так что призываю всех следить за моим цифровым аватаром и ставить лайки!)

На канале 1000 подписчиков!
И знаете что это значит?
Я решил снова провести ребрендинг и делаю канал с личным позиционированием.
Как-то не откликается мне Лебоски, которого макают в сартир на аватарке😬

Да и судя по статистике, личный авторский контент лучше разлетается и заходит подписчикам.
Долго думал как назвать, и решил: пусть будет "Роман с данными".

Логика такова:
- Я Роман? - Роман
- Занимаюсь сбором и разметкой данных уже 7 лет? - Занимаюсь
- У меня роман с данными? - Даже если не роман, то симпатия точно есть

Так что буду тут чаще делиться новостями/инсайтами/своим мнением о все что связано с данными, ML и ЛЛМками. Если вы поддерживаете ребрендинг - ставьте ❤️

И первая новость в обновленном канале следующая:
Мы с командой запустили свою российскую LLM Aрену.

Это такой сайт (идею скопировали у LMSYS), на котором обычные люди могут использовать разные LLM бесплатно, но взамен должны определять лучшую модель.
А мы на основе фидбека пользователей составляем рейтинг LLM и рассчитываем какая модель работает лучше всех на русском языке.

Мы попали прям в боль ML сообщества: кол-во LLM в России растет как на дрожжах, уже помимо YandexGPT, Гигачата есть и T-lite, и Вихрь, и Сайга. Новые LLM появляются каждую неделю и возникает потребность их сравнивать.

За последний месяц посещаемость проекта увеличилась в 6 раз, цитируемость бенчмарка возросла в разы, о нас написали Коммерсантъ, ITZine, Machinelearning, Tproger, ХАЙТЕК, RSpectr, hi-tech, газета.ru, Хабр, Lenta.ru.

Заходите на llmarena.ru и выбирайте лучшую модель!

Добавили на llmarena.ru шеринг диалогов, чтобы можно было скидывать друзьям/коллегам свои любимые переписки с LLMками.

Вчера встал вопрос: а какую длину ссылки делать?
Если сделать слишком длинную - неудобно будет делиться.
Если сделать слишком короткую - могут появиться коллизии.

На помощь пришел новый o1 и буквально за минуту раскромсал задачу.
Я ВМК МГУ окончил, сам бы смог решить, но ушло бы минут 30-40.
Чувствую как с каждым выходом новой модельки моя производительность повышается на 15-20% процентов)

P.S Ни YandexGPT Experimental, ни T-lite эту задачку не решил.
Пруф: https://llmarena.ru/?s=baa8e203

Год назад, когда выбирал название для своего проекта @TonGPT, зарегестрировал множество названий TG ботов, таких как @Turbo_Gptbot, @tongpt4bot и т.д.

Сейчас подумал, а почему они у меня просто лежат, давай я их подключу, чтобы с них трафик в основной @TonGPT_bot лить.

Задача простая: задеплоить 15 ботов, чтобы на любое сообщение они отвечали “Переходи в @TonGPT_bot”

Так как уже несколько лет практически ничего самостоятельно руками не пишу, а делегирую, то с этой задачкой пошел на kwork. Каково же было мое удивление, что за эту задачу получил оценку в 5-8к руб от нескольких исполнителей.

Из принципа закинул это же ТЗ в O1, получил код, залил на сервак. Запустил - работает! На всё про всё ушло 25 мин.

Вы там на kwork с дубу рухнули? Либо цену снижайте, либо совсем без работы останетесь.

На нас уже Центральный Банк Российской Федерации в своих тендерах ссылается.
Приятное достижение для проекта, которому 4 месяца.

P.S: Голосуйте активнее, чтобы мы уже добавили на лидерборд GigaChat Max.

А 6-го декабря буду выступать на конференции CONVERSATIONS 2024 с докладом
"Почему бенчмарки лгут? Как правильно оценить LLM для ваших бизнес-задач"

Кто тоже будет на конференции - ставьте 👍.
Готов со всеми пересечься и обсудить разметку и LLM.

Посмотрел доклад от Дмитрия Антипова про разметку в Сбере.
https://youtu.be/iInF3zKfEgY

Что для себя подметил интересного:
- Нарастает тенденция на мультимодальную разметку
- Сбер выделяет следующие типы разметчиков:
1) AI тренера
2) Краудсорсинг
3) Эксперты в узких областях (сильно увеличился спрос на них)
4) LLMки (угадайте куда ведет домен ллм.рф)
- LLMки размечают данные с качеством среднего разметчика, позволяют быстрее проводить эксперименты и итерации по разметке, дешевле разметчиков.

Доклад получилсяинтересный, рекомендую к просмотру.

А уже во вторник я, Дмитрий Антипов, Александр Капитанов, Евгений Россинский,
Евгений Макаров, Дмитрий Пименов встретимся на конференции HighLoad++ 2024 и проведем панельную дискуссию на тему Искусственный vs естественный интеллект в задачах разметки. Если вы тоже будете на конференции, заходите послушать!

Недавно завершилась конференция aij.ru от Сбера
Офлайн попасть было практически нереально, и нужно было быть со связями либо особенным, чтобы получить приглашение на нее (так что я не попал и смотрел онлайн 🙃). Как всегда, Сбер сделал кучу анонсов, с которыми можно ознакомиться тут.

Мне запомнились 2 интересных и забавных момента с конференции:
Первый
AI Journey считается одной из крупнейших конференций по искусственному интеллекту. На ней Сбер представляет свои новые LLM модели, например в прошлом году они анонсировали новую модель гигачата.

Похоже ребята из Т-Банка подумали, что и в этом году на AIJ Сбер будет презентовать новую модель. Поэтому ночью за день до релиза они засабмитили и утром анонсировали модели T-Lite и T-Pro, с гордостью указав, что они #2 модель после gpt-4o на бенчмарке MERA.

Но как говорят, "Великие умы мыслят одинаково". Той же ночью, и с такой же задумкой MTS AI решил тоже засабмитить свою модель Cotype. Модель оказалась на 0.004 балла лучше T-pro-it-1.0 и случайно (либо нет?) была выложена прямо после того как Тбанк сделал анонс, что "T-Pro заняла второе место по бенчмарку MERA среди всех моделей, включая проприетарные" - и все, кто перешли проверить, увидели на месте T-pro модель от MTS AI . Хороший и бесплатный пиар у MTS AI получился😀

Второй момент с конференции aij.ru

Александр Потемкин, директор tagme.ru для своего выступления Способы оптимизации разметки данных взял большую часть материала из моего доклада Автоматизация разметки данных с помощью ML-моделей. Да, картинки, несколько кейсов и оформление они взяли свои, но суть, идеи, тренды - многое взято под копирку.

Вы можете сказать: "А у Александра еще про LLM есть, а у тебя нет".
Согласен, но и тут вышло забавно: блок про LLM был позаимствован у Дмитрия Антипова с AI Conf 2024 😀.

Вот так и создаются доклады для международной конференции по ИИ.
Но как говориться, заимствуют у лучших. Так что это одно из подтверждений, что я для вас создаю качественный контент, который даже Сбер использует.

Ну что, пора подводить итоги года. Начну с самого интересного и авантюрного для меня проекта AI Роман.

Год назад, листая ленту инстаграмма, я наткнулся на рилс моего давнего знакомого Василия Рязанова о AI модели, которая зарабатывает более 10к$ в месяц. Курьезность этого видео была в том, что об этом рассказывал не сам Вася, а его цифровой аватар, круг замкнулся 😀

И понеслось! 8 января я сделал своего первого цифрового аватара. Только взгляните с какого ужасного качества я начинал, и какой аватар сейчас.

Кстати, цели и планы, которые я поставил по проекту год назад, полностью реализовались! Это я к тому, как важно прописывать планы, строить роадмапы и работать с целеполаганием.

За этот год (даже за 7 месяцев, так как полноценная команда появилась с июня):
• Мы выложили более 350 рилс
• Собрали 2 крутых инфокурса по обучению нейросетям и созданию собственного аватара
• Получили более 1м просмотров для десятков роликов (как вам новогодний рилс с Гарри Поттером?)
• А всратый рилс с бегемотом набрал 10 миллионов просмотров и завирусился на весь мир
• Разместили кучу контента в ТГ, инсте, TikTok, Shorts, Дзене, Yappy, VK
• Запустили марафон по работе с нейросетями
• Познакомился с огромным количеством интересных людей, попал в закрытый ИИ клуб “Акулы”
• Чуть лучше стал понимать нишу и̶ф̶о̶ц̶и̶г̶а̶н̶ инфоблогеров, механики пиара и способы привлечения аудитории

Из неудач: пока не вышли на самоокупаемость, долго топтались на месте с одним маркетологом, трудности с поиском хорошего маркетолога (вакансия открыта).

Уверен, что мы находимся только в начале нашего пути, и в следующем году нашу команду ждут новые вызовы и свершения. Поэтому подписывайтесь и следите за нашими достижениями!

И конечно же хочу поделиться итогами по LLM Arena!
Прежде чем начну, расскажу о том, как же пришла в голову идея создать арену.

Последние 8 лет я плотно занимаюсь данными, и их просто обожаю (думаю, по названию канала это и так понятно😀). Еще в 2018 году, когда выигрывал хакатоны, я усвоил, что без хорошей валидации нереально строить ИИ продукт. Если тест сета нет - то ты как слепой котенок: что-то улучшаешь, файтюнишь. А стало ли лучше - непонятно.

И даже когда мой основной бизнес стал сбором, разметкой и модерацией данных для обучения ИИ, оценка качества ML алгоритмов всегда оставалась любимой задачей.

Поэтому, когда новые LLMки начали появляться как грибы после дождя, я понял, что с одной стороны, у пользователей есть большая потребность понимать, как LLM соотносятся по качеству между собой. А с другой, что у меня есть экспертиза, команда, и понимание, как сделать качественный и хороший бенчмарк.

Почему мы пошли по пути LMSYS Chatbot Arena
На это было несколько причин:
1. Уже была MERA. Летом я познакомился с Аленой Феногеновой, понял, что у нее сильная команда, хорошие бюджеты, пиар, и посчитал, что делать еще один тестовый бенчмарк сейчас нет необходимости.
2. С 2018 года я плотно занимаюсь краудсорсингом, был сертифицированным партнером Толоки, преподавателем крауда в ВШЭ и ШАДе. Так что нагонять кучу людей для сбора оценок, выявлять фродеров, управлять толпой - это то, что я люблю и умею.
3. Было видно, что помимо бенчмарков в виде теста, разработчикам нужны бенчи на основе человеческого фидбека
4. Весной за рубежом LMSYS хайповала, казалось, что это самый популярный бенчмарк

А так как российским LLM моделям трудно попасть на зарубежную арену, мы запустили свою llmarena.ru 🎉

Чего добились за эти полгода:
• Добавили на лидерборд 44 модели
• Выстроили репутацию, что даже ЦБ о нас пишет
• Получили огромную огласку в СМИ
• Запустили мини-app LLM Arena в Telegram
• Опубликовали на Habr более 25 статей об оценке RAG и LLM моделей
• В рамках llmarena.team пошли в заказную разработку, оценку LLM и RAG систем, Red Teaming LLM, нащупали маркет фит, получили первую выручку
• Познакомились с кучей интересных людей, занимающихся развитием ЛЛМ в РФ
• Сплотились в дружную команду из 8 человек
• Собрали более 50 000 оценок от юзеров
• Наш доклад "Почему бенчмарки лгут?" выиграл номинацию “лучший доклад техно-трека” на конференции conversations

Как и в AI Роман, в следующем году нашу команду ждут новые вызовы и свершения. Поэтому подписывайтесь и следите за нашими достижениями!