group-telegram.com/gulagdigital/2356
Last Update:
Гонзо-обзоры статей: LLM и создание макетов при помощи Large Language Models, понятие UI грамматики
Exploring Mobile UI Layout Generation using Large Language Models Guided by UI Grammar
Грамматика пользовательского интерфейса – новый подход, который китайские товарищи предлагают для представления иерархической структуры, присущей пользовательскому интерфейсу. Целью этого подхода является руководство для LLM - чтобы повысить объяснимость и управляемость процесса генерации макета. Статья аффилирована с University of Notre Dame, Notre Dame, USA и Шанхайском университетом
Действительно датасеты пользовательского интерфейса существуют с конца десятых - авторы отмечают особенную роль датасета RICO, в котором собраны наборы экранов и интерфейсов мобильных приложений(https://www.semanticscholar.org/paper/Rico%3A-A-Mobile-App-Dataset-for-Building-Data-Driven-Deka-Huang/775f7845e4df2576762960943294bd28733e2046 ), который используется как для генерации интерфейса, так и для и ноукод приложений, насколько могу судить не очень используемыми в индустрии. Теперь эти датасеты заиграли новыми красками с выходом больших языковых моделей.
Большие языковые модели (LLM) для выполнения задач по моделированию пользовательского интерфейса посредством контекстного обучения и промтов в виде цепочки мыслей. Также некоторые исследователи провели автоматическое тестирование графического интерфейса, моделируя взаимодействие человека с графическим интерфейсом с помощью LLM.
Каргаран и др. ( статья Menucraft: Interactive menu system design with large language models https://arxiv.org/abs/2303.04496 ) исследовал проектирования меню пользовательского интерфейса с помощью LLM с помощью описаний на естественном языке намерений дизайнеров. Эти усилия продемонстрировали возможности LLM эффективно работать с пользовательскими интерфейсами на уровне промтов. Некоторые эксперименты также продемонстрировали конкурентоспособность по показателям оценки задач пользовательского интерфейса (по сравнению с человеком видимо)
Ключевая задача LLM для создания макетов связана с представлением иерархической структуры присущие элементам пользовательского интерфейса в процессе генерации.
“В ответ на эту проблему мы предлагаем грамматику пользовательского интерфейса — новый подход, который точно представляет иерархическую отношения между элементами пользовательского интерфейса. Этот подход служит руководить процессом создания LLM, тем самым делая поколение более структурировано и контекстуально приемлемо. С человекоцентрированной точки зрения мы обсуждаем, как включение грамматики пользовательского интерфейса обеспечивает промежуточный уровень представление, которое потенциально могло бы улучшить объяснимость и управляемость LLM в процессе генерации. Пользователи могут лучше понимать и управлять внутренними механизмами генерации LLM, просматривая и редактируя грамматику используется для получения окончательного результата”
Элементы пользовательского интерфейса на экране имеют иерархические отношения, что может быть отражено в принцип атомарного дизайна (Фрост, 2016), функций группировки инструментов проектирования пользовательского интерфейса, таких как Figma, и иерархий представлений Android. Некоторые предыдущие работы сгладили иерархические структуры элементов пользовательского интерфейса и уменьшили задач создания макета в предсказание плоской последовательности элементы и соответствующие ограничивающие рамки. Сохранение иерархических отношений между элементами пользовательского интерфейса и использование их - улучшит качество генерации макетов
Грамматика UI определяется как набор производственных правил для описание отношений родитель-потомок между элементами пользовательского интерфейса в рамках иерархической древовидной структуры данного экрана. Каждое производственное правило имеет форму A → B, где A представляет собой родительский элемент пользовательского интерфейса, а B представляет собой последовательность одного или больше дочерних элементов.
BY Цифровой геноцид
Share with your friend now:
group-telegram.com/gulagdigital/2356