Выступил на NIPS, на воркшопе посвященному соревнованию Ariel Data Challenge. Выступал на английском, опыт интересный, даже не факапнулся в рече. С темой своего выступления как обычно кринжанул, думал там ребята посвященные слушают, а там просто проходящие энтузиасты астрофизики зашли, а я как на зло погружение решил скипнуть со словами "I hope all of you are in the context of the data and the task". Вместо описания решения, как остальные участники, решил сделать спич с заголовком "почему моё решение хоть и решает метрику, но не решает задачу". Ещё и в 2 ночи по Шанхаю спикать пришлось, в полубредовом состоянии.

В общем да, эмоции переполняют, надо больше тренироваться на конфах выступать. В следующий раз надеюсь не на воркшоп, а на статью навайбю 🤓

🚀 Разбираем решение, которое принесло нашей команде 6-е место в Kaggle-соревновании по обработке данных миссии Ariel

Пост про то, что это вообще за сорева вот тут.

Мы работали с частотными сигналами, которые изначально были очень шумными. Для их сглаживания использовали:
1️⃣ Гауссовский регрессор
2️⃣ Фильтр Савицкого-Голея

Далее ищем границы транзитной зоны планеты. Делаем через простой эмпирический детектор: транзит на графике светимости звезды имеет вид \_/ — яркость падает, когда планета проходит перед звездой, так как часть частотных компонентов теряет интенсивность.

📉 Что мы делали дальше:
Удаляем этапы до и после транзита, чтобы анализировать только изменения светимости в нужный момент.
"Поднимаем" транзит обратно к уровню светимости звезды, чтобы восстановить исходный "пульс звезды". Это важно, чтобы учесть глобальное поведение светимости звезды, которе не очень-то и постоянное.

🔍 Фичи и модели:

На основе изменений яркости между ожидаемыми и наблюдаемыми значениями на заданных частотах извлекали фичи. Эти частоты совпадают с важными таргетами — спектрограммой атмосферы экзопланеты.
Обучаем линейную регрессию глобально для каждого таргета, подбирая оптимальные коэффициенты. В смысле берем все моменты времени для всех транзитов и конкретной частоты и ищем коэффициент подгонки.

Параллельно обучаем CNN, которая анализировала частотные изменения в заданных временных окнах.
Это:
Помогает учитывало локальные особенности спектра и переходов (энергии?) между частотами
Позволяло понять взаимосвязи между соседними частотами, улучшая точность предсказаний.
🔗 Финал:

Смешали (блендили) результаты линейной регрессии и CNN. Затем финальную спектрограмму еще раз сгладили, чтобы убрать артефакты.

💡 Бонус материал: пример 'подъема' спектра на картинке