Как понять, что ваша модель умная, и обучить ее под свои нужды

Ирина Барская, руководитель службы аналитики и исследований в Яндексе, рассказала на Хабре, как оценивать качество работы генеративных моделей. Мы собрали главное для тех, кто пытается измерить «ум» созданной модели.

«Когда возникает вопрос о том, как измерить "ум" модели, первое, что приходит в голову, — протестировать её так же, как человека: с помощью школьных российских или американских тестов или специализированных профессиональных экзаменов. Так в мире LLM появилось немало бенчмарков: берём вопросы из определённой области с вариантами ответа, модель проходит тест, получаем быстрый автоматический вердикт и таким образом понимаем, насколько умная перед нами модель» — пояснила Ирина.

В 2024-м самым популярным стал бенчмарк MMLU —  он охватывает 57 различных тем и содержит 16 тысяч вопросов. Человек может сдать этот тест на 90%. Но суть в том, что модель создают для решения четкой задачи, и она должна уметь это делать, а не просто решать задачки по математике. Чтобы протестировать любой навык модели, напишите свой бенчмарк: составьте тесты с вопросами и ответами, дайте их сначала людям, а потом уже модели. Так можно создать модель под свою структуру, культуру и клиентов.

Чему можно научить модель
⚫️Фактам.
⚫️Культурному коду — менталитету, шуточкам, сленгу. Этот пункт хорошо не упускать тем, кто создает интеллектуальных помощников в продажах. Юмор располагает, и чем более «живой» ваш чат-бот, тем приятнее с ним иметь дело.

«Так как YandexGPT используется для Нейро и Алисы, с которыми каждый день общаются миллионы пользователей, то нам важно, чтобы наша LLM знала "русскую душу": культурные отсылки, мемы, крылатые фразы. Ведь как иначе общаться с помощником, если он не отличает ватрушку от расстегая, не знает, как продолжить "Слабоумие и…", и не помнит любимые цитаты из рекламы 90-х», — рассказала Ирина

⚫️Противостоять провокациям.

⚫️Следовать формату и плану. То есть выполнять требования. Например, мы писали про сервис подбора офисов на ИИ. Пользователь давал вводные — бот выдавал варианты офисов. Только вот вместо четко ограниченного московского Садового кольца он предложил явное «Засадовье». Этого бы не случилось, если бы модель обучили следовать формату.

Что не так с бенчмарками
⚫️Они быстро устаревают — модели слишком быстро обучаются и сейчас уже решают на 85+ баллов сложных математических задач из бенчмарка MATH. Так что скоро все тесты потеряют свою актуальность.

⚫️Знания не равны интеллекту. Бенчмарки оценивают, как модель решает задачи, на которых уже обучена, а не способность обобщать. ИИ все еще не может думать, как человек. Так, в обычной задачке на логику про братьев и сестер Алисы модели запутались (таблица с ответами моделей в визуале к посту).

Как же тогда понять, умная модель или нет
Попросить об этом людей — обычных пользователей или ИИ-тренеров, которые специализируются в какой-то области знаний. Чем больше людей оценят точность ответов модели, тем более точной она станет. В Яндексе тренеры оценивают ответы LLM по пятибалльной шкале, а затем по критериям безопасности, логики, соответствия фактам и т.д. Тренеры проверяют модели, а руководители отделов проверяют тренеров — целая вертикаль, но иначе никуда.

В Яндексе под каждый навык собирают штат специалистов в определенной области. Так что ответ на вопрос, как понять, что модель умная, начинается именно с ее обучения. Хотите, чтобы она была компетентна в строительстве, недвижимости, проектировании, сметах, — соберите для обучения специалистов из этих сфер.

Актуальные обновления ФРСН и КСИ 

1️⃣На сайте Минстроя размещен обновленный Федеральный реестр сметных нормативов объектов капитального строительства (ФРСН), строительство которых финансируется с привлечением средств федерального бюджета (по состоянию на 18 декабря 2024 года).

2️⃣На ресурсе ФАУ «ФЦС» размещен обновленный классификатор строительной информации (КСИ) на 4 квартал 2024 г. (по состоянию на 19 декабря 2024 года): 

- уточнены наименования и определения элементов; 
- скорректированы и добавлены новые элементы. 

@developers_policy

Кейс: как ИТ-компания KTS автоматизировала работу проверяющих технадзора для ПИКа

Как было: на бумаге — проверяющие приезжали на объект, фиксировали нарушения и передавали отчеты на согласование.

Проблемы
⚫️Отчеты шли долго и с задержками, а еще часто возникали проблемы с интернетом, и данные терялись.
⚫️Не было статистики, поэтому сложно было понять, какие процессы хромают в целом.
⚫️Непонятно, как оценить качество работы проверяющих.

Цель
⚫️Сократить сроки передачи и минимизировать потерю данных.
⚫️Привести отчеты к стандарту, чтобы оценивать их качество.

Как делали

Со стороны разработчика — ИТ-компании KTS
⚫️Первую работающую версию показали через месяц после встречи с ПИКом. Там был минимум, который решал задачи ТЗ:
— личный кабинет проверяющего;
— возможность выбора объекта до конкретной квартиры и стадии строительства;
— доступ к предыдущим замечаниям и возможность синхронизироваться по времени, чтобы отследить прогресс исправления по прошлому отчету;
— ввод новых замечаний и отправка их на сервер.

⚫️После обработки первой обратной связи добавили возможность прикрепить фото/видео/файлы и выбрать подрядчика для устранения нарушений.
⚫️Настроили ручную синхронизацию, чтобы не терять данные из-за сети и дать проверяющим возможность проверить отчет перед отправкой.
⚫️Распространять приложение решили через платформу Appcenter. Она позволяла гибко управлять обновлениями, но при этом принудительно устанавливала важные.
⚫️Приложение запустили быстро, поэтому критично было реагировать на баги. Это реализовали через инструмент Firebase Crashlytics, который позволял идентифицировать пользователя и параметры его системы.

Со стороны заказчика — ПИК
Ну, понятное дело, не всем хотелось менять привычный образ работы, в том числе и технадзору. Поэтому застройщик, во-первых, обязал проверяющих закрывать свои отчеты (кнут), а во-вторых, ввел премии за самое большое количество замечаний (пряник). Хорошее решение: сотрудники писали только нужное — ибо им потом это и закрывать.

Что получилось
⚫️Стало быстрее и качественнее — удалось вынести стройку в офис с помощью фото и видео.
⚫️Аналитика позволяет заказчику системно работать с замечаниями, и они не теряются — висят в приложении, пока их не устранят.
⚫️Оффлайн-режим позволяет создавать отчеты без сети и отправлять их на проверку позже.
⚫️Привели отчеты к стандарту, чтобы можно было оценивать их качество. Для этого создали единую базу замечаний.

😱 А теперь начинаем бояться. Аналитики из KMPG вот что насчитали по росту дипфейков за I кв. 2024-го к I кв. 2023-го

⚫️+1520% в гейминге
⚫️+ 900% на маркетплейсах
⚫️+ 533% в финтехе
⚫️+ 217% в крипте
⚫️+ 138% в консультировании

Дипфейки могут нанести урон бренду, поэтому все взялись наращивать киберзащиту и следить за безопасностью и уязвимостью.

Как бороться
🔴Разработать стратегию использования ИИ в компании — создание, поиск, обработка и все остальные процессы.

🔴Внедрять инструменты, проверяющие всю информацию на предмет генерации нейросетью, и в бизнес, и в личную жизнь.

🔴Развивать культуру фактчекинга в компании — проводить ликбезы сотрудникам о способах проверки и противодействия.

Так, в основе дипфейка, как и любой манипуляции, — обращение к эмоциям. Эмоция — химический процесс, через 3-5 минут гормоны успокаиваются, и включается мозг. Поэтому не спешите. Это вообще главное правило для противодействия всем мошенникам.

🔴Надеяться на закон и соблюдать его. Так, в ЕС вся информация, созданная ИИ, должна быть маркирована, а за нарушение грозит штраф. А в Японии вводят уголовную ответственность за дипфейки. У нас пока не так серьезно, поэтому так важны инициативы российского бизнеса, который самостоятельно без кнута вводит маркировку и следит за безопасностью.

Полный отчет прикрепили выше👆

Аналитика Strategy Partners: производители инженерного софта в 2024 году заработают 50 млрд рублей

А это +20% к 2023 году. Посмотрим, что входит в эту сумму:

⚫️18 млрд руб. принесут PLM-системы.
⚫️10 млрд руб.— САПР в строительстве и изысканиях.
⚫️9 млрд руб.— САПР в машиностроении.

⚫️На сегмент САПР приходится 48% от всего инженерного софта, из них 21% — строительного.

Почему рынок растет
Основные причины — курс на импортозамещение во всех отраслях производства и промышленности и реализация крупных инфраструктурных проектов.

Прогнозы
Рынок инженерного ПО и IT-услуг к 2030 году вырастет до 74 млрд руб. при среднегодовом темпе роста 16%.

Совет по вопросам жилищного строительства и содействия развитию ЖКХ Совета Федерации подготовил материалы по цифровой трансформации отрасли

На данный момент подсчитаны экономические эффекты применения ТИМ в госстройке и в долевом жилищном:

⚫️Сокращение срока выполнения проектно-изыскательных работ (теперь работы выполняются от 13 до 92 дней) и строительно-монтажных (а они занимают 30-125 дней).

⚫️Около 30% повышение продуктивности за счёт автоматизации процессов.

⚫️На 10% снижаются затраты на техническую эксплуатацию объекта.
⚫️До 20% снижаются комплексные эксплуатационные затраты.
⚫️До 50% — затраты на аварийный ремонт инженерного оборудования.
⚫️До 15% — затраты на материалы и сервисные услуги.
⚫️До 30% экономия на фонде оплаты труда при наличии собственной службы эксплуатации.

Полные материалы прикрепили выше⬆️

+19% к числу ИТ-вакансий в столице за 2024 год — ДИТ Москвы

Департамент информационных технологий Москвы представил выводы по рынку труда в ИТ и телекоммуникациях.

⚫️на 19% выросло число вакансий по сравнению с первым полугодием 2023-го в ИТ и телекоммуникацях.
⚫️+9% вакансий для программистов и разработчиков.

⚫️ 38% вакансий приходится на ИТ, системную интеграцию и интернет.
⚫️13% — на финтех.
⚫️7% — на розничную торговлю.

⚫️в 12% вакансий нужен навык работы с искусственным интеллектом.

⚫️ТОП-3 работодателей: Сбер, МТС и Ozon.

Полностью исследование прикрепили выше☝️

Подборка ИИ-инструментов для архитекторов и градостроителей

Институт Генплана Москвы поделился сервисами, которые помогают его сотрудникам в работе. Мы принесли вам краткий список.

Работа с большими данными
На платформах LM Studio и Ollama можно запустить большие языковые модели и обрабатывать скоп данных без сети на локальной машине. Это безопасно и быстро.

Помощники
⚫️Нейросети ГигаЧат, ChatGPT, Gemini и Claude для автоматизации рутинных задач и мозгового штурма.

⚫️Whisper и Faster Whisper: помогают повысить продуктивность работы и делать быстро расшифровки аудио и видео.

Рендеринг
⚫️Stable Diffusion, Шедеврум, Кандинский, Flux и ControlNet помогают визуализировать идеи из головы и сгенерировать фотореалистичные рендеры для проекта, в том числе в 3D.

⚫️Нейросети Runway ML, KLING, PIKA помогут работать с видео и анимацией.

Код
GitHub Copilot помогает писать код и создавать скрипты для анализа и моделирования. На нем можно писать плагины и расширения для Blender, QGIS, 3D Max, Revit и других.

Переводчики
DeepL и Яндекс на нейросетях работают с текстом, изображениями, pdf-файлами. Они помогают быстро переводить зарубежные исследования и быть в курсе инноваций.

Источники
⚫️На платформе Hugging Face следим за новыми LLM.

⚫️На Civitai собраны ресурсы для разработки графических моделей.

Пишите свои рекомендации в комментариях