Возвращаем нашу рубрику с обзорами.
Интересная работа – VisionZip: Longer is Better but Not Necessary in Vision Language Models. Если по сути, то рассматривается старая, как мир, идея, что изображения, в отличие от текста, достаточно неплотный по семантике формат и с этим что-то можно сделать.
Вся область компьютерного зрения всеми возможными способами танцует вокруг этой проблемы. Но, в контексте больших мультимодальных моделей она приобретает новые краски, поскольку, как известно, с количеством токенов квадратично растёт и сложность.
А в последних моделях, с учётом всех трюков, количество визуальных токенов уже совсем неслабое. Например, в LLaVA-NeXT изображение 672х672 будет преобразовано в 2880 токенов.
Авторы считают, что так жить нельзя и предлагают следующее решение: изображение прогоняется через визуальный энкодер на трансформерной архитектуре, после чего извлекаются значения внимания и на этой основе принимается решение, какие токены очень важны, а какие чуть менее и вообще просто кодируют контекст. При этом, по-разному производится работа с FE, где есть CLS-токен и где нет. В первом случае, считается внимание по отношению к CLS-токену (т.к. в нём глобальная информация), в других же случаях просто усредняется внимание по отношению ко всем остальным токенам по оси количества голов.
Критически важные токены берутся без изменений, а остальные агрегируются (через усреднение, опять же) по принципу похожих. Дальнейший процесс как обычно, см. схему.
Метод можно использовать прямо как есть, без файнтюна, но будет чуть хуже - пространства могут не совпадать. Но даже так неплохо.
А с трейном так и совсем хорошо. У авторов вышло, что, порезав 77.8% токенов в LLaVA-NeXT, можно сохранить 98.9% оригинальной точности. Рост скорости очевиден – 13B модель начинает работать быстрее 7B. И при этом, всё ещё чуть качественнее.
Разгорячившись, ребята попробовали с наскока залезть и в видео. Вышло, что Video-LLaVA на 136 токенах (вместо 2048) сохраняет 93.2% оригинального качества в варианте без тренировки.
Тут, конечно, стоит быть осторожными с выводами. Результаты выглядят впечатляюще, и статья получила заметное внимание, но стоит помнить о некотором кризисе с замером качества у моделей общего назначения. Может оказаться, что эти несколько процентов убивают весь перформанс в реальных задачах.
Но, можно пощупать самостоятельно в демке, пока она жива. С наскока кажется, что вроде бы как минимум работоспособно, ну и там есть интересная визуализация.
Интересная работа – VisionZip: Longer is Better but Not Necessary in Vision Language Models. Если по сути, то рассматривается старая, как мир, идея, что изображения, в отличие от текста, достаточно неплотный по семантике формат и с этим что-то можно сделать.
Вся область компьютерного зрения всеми возможными способами танцует вокруг этой проблемы. Но, в контексте больших мультимодальных моделей она приобретает новые краски, поскольку, как известно, с количеством токенов квадратично растёт и сложность.
А в последних моделях, с учётом всех трюков, количество визуальных токенов уже совсем неслабое. Например, в LLaVA-NeXT изображение 672х672 будет преобразовано в 2880 токенов.
Авторы считают, что так жить нельзя и предлагают следующее решение: изображение прогоняется через визуальный энкодер на трансформерной архитектуре, после чего извлекаются значения внимания и на этой основе принимается решение, какие токены очень важны, а какие чуть менее и вообще просто кодируют контекст. При этом, по-разному производится работа с FE, где есть CLS-токен и где нет. В первом случае, считается внимание по отношению к CLS-токену (т.к. в нём глобальная информация), в других же случаях просто усредняется внимание по отношению ко всем остальным токенам по оси количества голов.
Критически важные токены берутся без изменений, а остальные агрегируются (через усреднение, опять же) по принципу похожих. Дальнейший процесс как обычно, см. схему.
Метод можно использовать прямо как есть, без файнтюна, но будет чуть хуже - пространства могут не совпадать. Но даже так неплохо.
А с трейном так и совсем хорошо. У авторов вышло, что, порезав 77.8% токенов в LLaVA-NeXT, можно сохранить 98.9% оригинальной точности. Рост скорости очевиден – 13B модель начинает работать быстрее 7B. И при этом, всё ещё чуть качественнее.
Разгорячившись, ребята попробовали с наскока залезть и в видео. Вышло, что Video-LLaVA на 136 токенах (вместо 2048) сохраняет 93.2% оригинального качества в варианте без тренировки.
Тут, конечно, стоит быть осторожными с выводами. Результаты выглядят впечатляюще, и статья получила заметное внимание, но стоит помнить о некотором кризисе с замером качества у моделей общего назначения. Может оказаться, что эти несколько процентов убивают весь перформанс в реальных задачах.
Но, можно пощупать самостоятельно в демке, пока она жива. С наскока кажется, что вроде бы как минимум работоспособно, ну и там есть интересная визуализация.
По каким-то причинам, известная фотография великого Николы Теслы особенно хорошо работает в нашем пайплайне редактирования изображений :)
Не иначе как, фото заряжено на науку.
Не иначе как, фото заряжено на науку.
В недавнем исследовании про таргетированный AI-фишинг авторы собирали информацию в интернете о человеке, с помощью GPT-4o и Claude 3.5 Sonnet составляли его профиль, на основе которого генерировали персонализированные фишинговые сообщения. Что интересно, в 88% случаев профили оказывались точными и полезными, а click-rate на ссылки в автоматически сгенерированных письмах составил 54%. Это значение совпало с click-rate для писем, написанных человеком-экспертом. В аналогичных же исследованиях прошлого года, чтобы достичь уровня экспертов, моделям требовалось участие человека.
Результаты лишний раз подчеркивают необходимость создания и улучшения детекторов сгенерированного контента.
LLM модели совершенствуют свои «обманные способности», а мы продолжаем совершенствовать нашу модель детектирования для русскоязычных текстов GigaCheck. Обновленная версия уже доступна в нашем Telegram-боте. Кроме того, мы добавили нашу новую модель (находится на стадии бета-тестирования), которая умеет определять в co-written текстах фрагменты текста, созданные LLM. Вы можете легко переключать модели через команду
Напомним, что используемый нами подход для детекции интервалов основан на архитектуре DN-DAB-DETR, подробнее можно почитать в опубликованной нами статье, про которую мы писали в этом посте.
Заходите в бот, тестируйте, и не дайте злоумышленникам вас обмануть! 😊
Результаты лишний раз подчеркивают необходимость создания и улучшения детекторов сгенерированного контента.
LLM модели совершенствуют свои «обманные способности», а мы продолжаем совершенствовать нашу модель детектирования для русскоязычных текстов GigaCheck. Обновленная версия уже доступна в нашем Telegram-боте. Кроме того, мы добавили нашу новую модель (находится на стадии бета-тестирования), которая умеет определять в co-written текстах фрагменты текста, созданные LLM. Вы можете легко переключать модели через команду
/model. Напомним, что используемый нами подход для детекции интервалов основан на архитектуре DN-DAB-DETR, подробнее можно почитать в опубликованной нами статье, про которую мы писали в этом посте.
Заходите в бот, тестируйте, и не дайте злоумышленникам вас обмануть! 😊