ICML - Best Paper AwardsВ субботу закончилась ICML 2024. На ней, как и на других топовых конференциях (
например NeurIPS) выбирают и награждают лучшие статьи.
Статья про SD3 от моих одногруппников (Scaling Rectified Flow Transformers for High-Resolution Image Synthesis) тоже получила best paper award на ICML! Это очень круто! Про саму статью я писал ранее
тут.
Полный список пейперов получивших награду (я разбил их на темы).Генерация текста:1️⃣ Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution - генерация текста с помощью диффузии, работает быстрее чем авторегрессия.
2️⃣ Stealing Part of a Production Language Modeling - Как украсть веса последнего слоя у ChatGPT, потратив пару тысяч долларов на API.
3️⃣ Debating with More Persuasive LLMs Leads to More Truthful Answers – дебаты как метод получения более правдивых ответов от больших языковых моделей (LLM). Более слабая модель может оценивать ответы более сильных LLM.
4️⃣ Probabilistic Inference in Language Models via Twisted Sequential Monte Carlo - вероятностный инференс в LLM.
Генерация картинок и видео:5️⃣ VideoPoet: A Large Language Model for Zero-Shot Video Generation – LLM для генерации видео от Google
6️⃣ Scaling Rectified Flow Transformers for High-Resolution Image Synthesis – Stable Diffusion 3
7️⃣ Genie: Generative Interactive Environments – foundation world model, которая может генерировать бесконечное разнообразие играбельных (с контролируемыми действиями) миров
Другое:
8️⃣ Position: Measure Dataset Diversity, Don't Just Claim It - Про датасеты
9️⃣Information Complexity of Stochastic Convex Optimization: Applications to Generalization and Memorization - Про выпуклую оптимизацию
Исторически ICML славилась более хардкорными статьями с кучей матана и теорем. Но тут, как видите, большинство из лучших статей очень прикладные и понятные, кроме может быть двух (про Convex Optimization и инференс LLM через TSMC), где нужно реально потратить время чтобы осознать, что происходит.
@ai_newz 
