Картинки! (лучше открыть статью и листать там в конце)
Как читать каждую строчку:
— первые 3 изображения: это генерации без поиска (брали первый попавшийся случайный шум), с увеличивающимся количеством шагов
— вторые 3 изображения: лучшее (согласно верификаторам) изображение с применением масштабирования поиска на инференсе
Как видно по первой картинке, метод работает для разных моделей, и не требует никакой тренировки (если верификатор уже есть) — просто нужно больше генераций.
На второй и третьей картинах разница между третьим изображением (30 шагов) и пятым (960) по вычислениям — в 32 раза. А с шестым в 96.
На последней — такая же, но шагов другое количество (28 и 896/2688).
====
Что значит на практике:
— скоро во многих сервисах ожидаю появления VIP-версии генераций, которые стоят дороже. Скорее всего какой-то вариант первого способа масштабирования уже есть сейчас (сгенерируй K и выбери 1-2 лучших), но тут предлагается ещё 3 способа, которые легко запрограммировать
— вероятно, рост в цене будет не в 30-90 раз (хотя для профессиональных моделей вполне), так как есть интересная статья про LLM, где показывается, что сделать больше генераций дешёвыми и маленькими моделями — лучше, чем меньше генераций большими и дорогими
— такой подход применим и для видео, где стоимость контента может быть существенно выше. Интересно будет увидеть такую услугу за $100-200 за минуту качественного видео в 2025м.
— тренировать классифиактор/ранжировщик, который выбирает лучшие картинки из набора (или не обязательно картинки, ведь можно делать оценку шума прямо в середине процесса генерации) — очень важно, ждем а) моделей б) статей
Критика статьи:
— авторы везде замеряли автоматические метрики, и (иногда) их же и оптимизировали, так что не удивителен рост. Жаль, что нет хотя бы одного замера Эло-рейтинга на реальных людях :(
Как читать каждую строчку:
— первые 3 изображения: это генерации без поиска (брали первый попавшийся случайный шум), с увеличивающимся количеством шагов
— вторые 3 изображения: лучшее (согласно верификаторам) изображение с применением масштабирования поиска на инференсе
Как видно по первой картинке, метод работает для разных моделей, и не требует никакой тренировки (если верификатор уже есть) — просто нужно больше генераций.
На второй и третьей картинах разница между третьим изображением (30 шагов) и пятым (960) по вычислениям — в 32 раза. А с шестым в 96.
На последней — такая же, но шагов другое количество (28 и 896/2688).
====
Что значит на практике:
— скоро во многих сервисах ожидаю появления VIP-версии генераций, которые стоят дороже. Скорее всего какой-то вариант первого способа масштабирования уже есть сейчас (сгенерируй K и выбери 1-2 лучших), но тут предлагается ещё 3 способа, которые легко запрограммировать
— вероятно, рост в цене будет не в 30-90 раз (хотя для профессиональных моделей вполне), так как есть интересная статья про LLM, где показывается, что сделать больше генераций дешёвыми и маленькими моделями — лучше, чем меньше генераций большими и дорогими
— такой подход применим и для видео, где стоимость контента может быть существенно выше. Интересно будет увидеть такую услугу за $100-200 за минуту качественного видео в 2025м.
— тренировать классифиактор/ранжировщик, который выбирает лучшие картинки из набора (или не обязательно картинки, ведь можно делать оценку шума прямо в середине процесса генерации) — очень важно, ждем а) моделей б) статей
Критика статьи:
— авторы везде замеряли автоматические метрики, и (иногда) их же и оптимизировали, так что не удивителен рост. Жаль, что нет хотя бы одного замера Эло-рейтинга на реальных людях :(
group-telegram.com/seeallochnaya/2224
Create:
Last Update:
Last Update:
Картинки! (лучше открыть статью и листать там в конце)
Как читать каждую строчку:
— первые 3 изображения: это генерации без поиска (брали первый попавшийся случайный шум), с увеличивающимся количеством шагов
— вторые 3 изображения: лучшее (согласно верификаторам) изображение с применением масштабирования поиска на инференсе
Как видно по первой картинке, метод работает для разных моделей, и не требует никакой тренировки (если верификатор уже есть) — просто нужно больше генераций.
На второй и третьей картинах разница между третьим изображением (30 шагов) и пятым (960) по вычислениям — в 32 раза. А с шестым в 96.
На последней — такая же, но шагов другое количество (28 и 896/2688).
====
Что значит на практике:
— скоро во многих сервисах ожидаю появления VIP-версии генераций, которые стоят дороже. Скорее всего какой-то вариант первого способа масштабирования уже есть сейчас (сгенерируй K и выбери 1-2 лучших), но тут предлагается ещё 3 способа, которые легко запрограммировать
— вероятно, рост в цене будет не в 30-90 раз (хотя для профессиональных моделей вполне), так как есть интересная статья про LLM, где показывается, что сделать больше генераций дешёвыми и маленькими моделями — лучше, чем меньше генераций большими и дорогими
— такой подход применим и для видео, где стоимость контента может быть существенно выше. Интересно будет увидеть такую услугу за $100-200 за минуту качественного видео в 2025м.
— тренировать классифиактор/ранжировщик, который выбирает лучшие картинки из набора (или не обязательно картинки, ведь можно делать оценку шума прямо в середине процесса генерации) — очень важно, ждем а) моделей б) статей
Критика статьи:
— авторы везде замеряли автоматические метрики, и (иногда) их же и оптимизировали, так что не удивителен рост. Жаль, что нет хотя бы одного замера Эло-рейтинга на реальных людях :(
Как читать каждую строчку:
— первые 3 изображения: это генерации без поиска (брали первый попавшийся случайный шум), с увеличивающимся количеством шагов
— вторые 3 изображения: лучшее (согласно верификаторам) изображение с применением масштабирования поиска на инференсе
Как видно по первой картинке, метод работает для разных моделей, и не требует никакой тренировки (если верификатор уже есть) — просто нужно больше генераций.
На второй и третьей картинах разница между третьим изображением (30 шагов) и пятым (960) по вычислениям — в 32 раза. А с шестым в 96.
На последней — такая же, но шагов другое количество (28 и 896/2688).
====
Что значит на практике:
— скоро во многих сервисах ожидаю появления VIP-версии генераций, которые стоят дороже. Скорее всего какой-то вариант первого способа масштабирования уже есть сейчас (сгенерируй K и выбери 1-2 лучших), но тут предлагается ещё 3 способа, которые легко запрограммировать
— вероятно, рост в цене будет не в 30-90 раз (хотя для профессиональных моделей вполне), так как есть интересная статья про LLM, где показывается, что сделать больше генераций дешёвыми и маленькими моделями — лучше, чем меньше генераций большими и дорогими
— такой подход применим и для видео, где стоимость контента может быть существенно выше. Интересно будет увидеть такую услугу за $100-200 за минуту качественного видео в 2025м.
— тренировать классифиактор/ранжировщик, который выбирает лучшие картинки из набора (или не обязательно картинки, ведь можно делать оценку шума прямо в середине процесса генерации) — очень важно, ждем а) моделей б) статей
Критика статьи:
— авторы везде замеряли автоматические метрики, и (иногда) их же и оптимизировали, так что не удивителен рост. Жаль, что нет хотя бы одного замера Эло-рейтинга на реальных людях :(
BY Сиолошная
Share with your friend now:
group-telegram.com/seeallochnaya/2224