Роль human factors и UX в пожаре Нотр-Дам.

Ок, ладно, это даже круче, чем авария на АЭС Три-Майл-Айленд и прошло мимо меня.

Система безопасности в Соборе Нотр-Дам не учитывала скорость распространения огня по крыше, кроме того, на крыше не было специальных разбрызгивателей и противопожарных стен. NYT пишет, что это произошло из-за того, что в разработке противопожарной системы, растянувшейся на шесть лет, приняло участие слишком много разных экспертов. «Когда единственное, что система должна была сделать, — сообщить о пожаре и его конкретном месте, она выдала практически нерасшифровываемое сообщение». Сначала система назвала одну из четырех зон — ту, в которой был обнаружен огонь, — «Attic Navy Sacristy» (которое охранник интерпретировал как крыша ризницы), а затем номер одного 160 дымовых детекторов: «ZDA-110-3-15-1».

Более важно здесь то, что на подобного рода оповещения повлиял и фактор нового сотрудника (привет системам онбординга и требования противопожарной безопасности).

В 18:18 вечера 15 апреля новый охранник (это был его третий день) увидел предупреждающее сообщение в системе пожарной безопасности: ZDA-110-3-15-1. Но он не знал, что это значит. Оно должно было подсказать ему, где искать пожар, но для него это ничего не значило, и он не был обучен понимать это. Для инженеров, которые строили систему, код идентифицировал конкретное место расположения пожарного датчика в огромном соборе, но охранник этого не знал. В суматохе второй охранник искал пожар на неправильной стороне комплекса. Если бы пожар был обнаружен раньше, его можно было бы локализовать, но 25 дополнительных минут суматохи до того, как его обнаружили, позволили огню выйти из-под контроля. И его восстановление обошлось почти в 1 миллиард долларов.
Это из книжки, читать ее, пожалуй, не буду
https://whydesignishard.substack.com/p/the-900-million-ux-mistake-at-the

А вот уже официальные данные противопожарной организации ЕС https://cfpa-e.eu/delayed-alert-cost-notre-dame-dearly/

Это критическая временная задержка по отношению к тому, что могут сделать аварийные службы в случае пожара. – В здании такого возраста разница заключается в том, можно ли потушить пожар или просто контролировать его, говорит Тим ​​Оле Симонсен, директор по операциям и начальник пожарной охраны Большого Копенгагена. Он подчеркивает, что не знаком с точными подробностями последовательности событий пожара в Нотр-Даме, но добавляет: – Задержка такого калибра обычно означает, что есть много дыма, из-за которого трудно добраться до огня, и может возникнуть опасность обрушения конструкции. Если вы приедете быстро, вы иногда сможете потушить пожар на ранней стадии. Если пройдет больше времени, тушение пожара может занять от 12 до 24 часов. Задержка в 25 минут в этом отношении фатальна.

Вопрос только вот в чем: а насколько наши системы безопасности и пользовательские сценарии обычных финансовых онлайн-сервисов или торговых центров - готовы к авариям с точки зрения интерфейсов, онбординга и обучения? Ответ на этот вопрос предлагает сама жизнь

Large Concept Models

Meta AI представил новую архитектуру, бросающую вызов LLM. Они называют ее Large Concept Models (LCM). В отличие от традиционных LLM, которые работают на уровне токенов, LCM работают на более высоком уровне семантического представления, называемого «концепциями». Эти концепции не зависят от языка и представляют более широкие идеи или действия, что делает их более соответствующими уровням абстракции человека.

Работают как на картинке, позволяют делать реазонинг основанным на больших концептах, а не на токенизации, убирая несколько шагов
https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/
Простой пересказ
https://aipapersacademy.com/large-concept-models/

Ryen W. White и исследования поиска в эпоху копилотов, агентов и LLM

Иногда буду постить здесь новости и персоналии sigchi awards среди лауреатов и победителей различных лет. Премия вручается в области HCI и UX исследований, в основном много инженеров и специалистов. Одно из имен прошлого года, которая привлекло мое внимание - это имя Ryen W. White, директора по партнерским исследованиям и заместителем директора лаборатории в Microsoft Research в Редмонде https://sigchi.org/people/award-recipients/

Почему? Он исследует поисковые сценарии и изменение поиска в ближайшие годы, а также инновации поисковиков, но гораздо любопытнее его статьи и книги по новым ИИ поисковикам. Information Access in the Era of Generative AI - ее еще нет в открытом доступе, но рецензия на нее уже лежит в arxiv. org, поэтому сэкономим время
https://link.springer.com/book/10.1007/978-3-031-73147-1

Типы информационных потребностей, которые пользователи приносят в IR-системы, изучались десятилетиями.

Ланкастер и Уорнер определили предметные потребности,(2) которые делятся на три категории:
• Помощь в решении определенной проблемы или принятии решения
• Справочная информация по теме
• Отслеживание информации в заданной предметной области

Они назвали первые две предметные потребности ретроспективными информационными потребностями, в которых ищутся уже опубликованные документы, в то время как последняя потребность называется текущей потребностью в осведомленности, которая удовлетворяется путем фильтрации новых документов для выявления документов по определенной теме.

Уилкинсон и Фуллер описали четыре типа информационных потребностей для коллекций документов:
• Поиск фактов — нахождение определенного элемента информации
• Обучение — развитие понимания темы
• Сбор — поиск материала, относящегося к новой проблеме, которая явно не указана • Исследование — просмотр материалов с частично определенной информационной потребностью, которая может быть изменена по мере просмотра контента

Копилоты и LLM никак не соответствуют всем этим сценариям сейчас и не могут - они не предоставляют или предоставляют мало ссылок. Даже когда ссылки предоставляются, они часто не предоставляют прямой цитаты для того, что сказано. Более того, пользователь не имеет представления о том, какой фактический исходный текст привел к тому, что общая модель выдала конкретный текст. Это принципиальная разница между базами данных - динамической и статической, именно поэтому ЛЛМ иногда галлюцинирует… из-за своей креативности, поэтому же она не может удовлетворить информационный запрос

Это рождает целый ряд феноменов. Например, больше нет “счастливой случайности” когда в поисковой выдаче находишь удивительный факт на сотой странице выдачи, который меняет запрос или оценивается необычайно высоко. На данном этапе ситуация выглядит именно так

https://arxiv.org/abs/2311.18550

The GRAIL (GRAphical Input Language) Project

После нового года хочу побольше уделять времени визуальным языкам, поэтому решил посмотреть на первый проект в истории на цифровых носителях - 1968 год, проект направленный на замену команд в интерфейсе.

Проект GRAIL (язык графического ввода) предполагал создание интерактивной программно-аппаратной системы, в которой человек конструирует и манипулирует содержимым дисплея напрямую и естественным образом, без необходимости давать указания посреднику (машине); то есть содержимое дисплея должно представлять, в самом реальном смысле, проблему человека и позволять ему решать ее напрямую. Корпорация RAND делала ставку на то, что юзеры общались с GRAIL с помощью похожего на ручку инструмента и планшета. У GRAIL не было ни мыши, ни клавиатуры, ни кнопок, ни джойстика, ни других атрибутов, которые мы обычно ассоциируем с современными вычислениями. Когда пользователю требовалось поле на экране, он рисовал поле. Когда требовался текст на экране, он "писал" текст от руки.

https://www.youtube.com/watch?v=2Cq8S3jzJiQ&ab_channel=YoshikiOhshima%28%E5%A4%A7%E5%B3%B6%E8%8A%B3%E6%A8%B9%29

Использование стилуса позволяло удалять и добавлять логические операторы между сущностями. Непрерывные ответы на дисплее дисплея необходимы для минимизации отвлечения внимания и для того, чтобы человек чувствовал, что он имеет дело непосредственно с выражением своей проблемы - отзывчивый UI!
https://instadeq.com/blog/posts/no-code-history-graphical-input-language-grail-1969/
Блок-схемы помогают человеку изобразить свои варианты управления и взаимосвязь между процессами, выражая эти взаимосвязи в двух измерениях.

https://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5999.pdf
https://jackschaedler.github.io/handwriting-recognition/
Система была реализована на базе IBM System/360

Удивительно, конечно, насколько раньше советских первых визуальных языков - до ДРАКОНА лет 20

MaxDiff на питоне

Difference scaling или MaxDiff или шкала максимального различия - это метод, который предполагает выявление наиболее и наименее значимых свойств оцениваемых предметов, в каком-то смысле это одномерный Conjoint для исследования пользовательских предпочтений

Шкалу Best/Worst Scaling предложили в 1990ые годы: спрашивая попарно что кажется наилучшим и наихудшим из представленных вариантов можно на ограниченном числе вариантов понять предпочтения пользователей.

На днях попалась реализация на R - Крис Чапман, большой специалист в области количественного UX, автор книг и директор в Amazon ведет блог, где написал демонстрацию — не для производственных проектов — MaxDiff полностью с использованием кода R.
https://quantuxblog.com/easy-maxdiff-in-r на примере пиццы с ингридиентами, симулятор предлагает выбирать из пар ответов худший и лучший вариант, затем рисует визуализацию

Ок, интересно, но давайте посмотрим на питоне в гуглколлаб

https://colab.research.google.com/drive/13fXMMjpbcjGI6ozGkYb5nDNuUYnCrbPy?usp=sharing

В конце комментарий как читать график. Как работает? Запускаем и гуглколлаб спрашивает, что выберите из вариантов
Пишите варианты в поле от 1 до 4. Когда надоест - надо вбить 0

А вот симулятор ответов респондентов, чтобы посмотреть на симуляцию и случайное распределение
https://colab.research.google.com/drive/1H0RqseRf_gjGq3ULtcyc9YGhOoiOWVYZ?usp=sharing

Надо будет докрутить для заготовок опросников, вероятно, магия в том, чтобы показывать достаточное число раз сеты

Социология технологий: Ирония автоматизации

На днях на глаза попала интересная дискуссия вокруг роли человеческого фактора, но, что интереснее, часто в ней звучала отсылка к статье, которую много считают классической в истории технологий и,которая, кажется, была почти неизвестна в русскоязычном сегменте рунета. При этом Ironies of Automation, Ирония автоматизации, удостоилась даже статьи в википедии https://en.wikipedia.org/wiki/Ironies_of_Automation

Итак, социолог Лизанна Бейнбридж в 1989 году пишет статью в журнале Automatica, которая стала очень цитируемой в современной айти литературе, гугл мне показывает 3115 ссылок на статью, выходят статьи о том, что даже спустя 30 лет она не потеряла своей актуальности.

О чем она?

В этой статье предполагается, что возросший интерес к человеческому фактору среди инженеров отражает иронию того, что чем более продвинута система управления, тем более важным может быть вклад человека-оператора. Рассматриваются примеры из производства, из кабин пилотов и тд.
Мнение проектировщика об операторе-человеке может заключаться в том, что оператор ненадежен и неэффективен, поэтому его следует исключить из системы.

В таком отношении есть две иронии. Первая из них заключается в том, что ошибки проектировщика могут быть основным источником проблем в работе.
Вторая ирония заключается в том, что проектировщик, который пытается исключить оператора, все равно оставляет оператора выполнять задачи, которые проектировщик не может придумать, как автоматизировать, сложные задачи

Получается, что у оператора две задачи: а) контролировать работу автоматизированной системы и б) в сложных и экстремальных ситуациях вмешиваться в работу автоматизированной системы
Это означает, что оператор в особенных ситуациях должен быть более опытным и квалифицированным, чем в обычных условиях, более того, так как этот очень профессиональный оператор основное время занят задачами мониторинга, то его навыки…. деградируют и не развиваются. Это означает, что ранее опытный оператор, который контролировал автоматизированный процесс, теперь может быть неопытным.
Для операторов «машинного мышления» с этим есть две проблемы. Одна заключается в том, что эффективное извлечение знаний из долговременной памяти зависит от частоты использования (рассмотрите любой предмет,
по которому вы сдали экзамен в школе и с тех пор не думали). Другая заключается в том, что этот тип знаний развивается только посредством использования и обратной связи об его эффективности.

Для краткосрочной памяти это также верно: нужно время, чтобы включится в ситуацию в системе - и в случае полностью автоматизированной системы - это сложнее, чем в случае ручного управления.
Вторая группа проблем касается мониторинга: ее сложно проводить в системах, где ничего не происходит долгое время, а системы высокой автоматизации такие.
Наконец, автоматизация на уровне систем, которые управляются компьютером - нет способа, которым человек-оператор может проверить в реальном времени, что компьютер правильно следует своим правилам, ошибка видна уже по факту.

Бейнбридж также отмечает, что люди НЕ хотят выполнять автоматизированную работу и люди, также, не хотят получать зарплату за такую работу, которая считается в профессиональной среде ерундовой. Ну и да, зарплата тоже снижается, она становится менее квалифицированной. Очевидно, это влияет на мотивацию. И такая пониженная мотивация приводит к выросшему уровню стресса и росту ошибок и проблем при работе с интерфейсом (ох как это мне знакомо по работе с банковскими бабушками). Якобы такую деградацию персонала отмечал Фиттс (некий “список Фиттса”).

Эти проблемы можно сформулировать как парадокс, что при автоматизации процесса оператору-человеку дается задача, которая выполнима только теми, кто находится в режиме ручного управления.

Как решать эту проблему?

Убирая легкие части его задачи, автоматизация может сделать сложные части задачи человека-оператора более трудными, обсуждены возможности вмешательства компьютера в принятие решений человеком. Статья также обсуждает стратегии решения проблемы - включают в себя инструктаж или консультирование оператора, смягчение его ошибок, предоставление сложных дисплеев и помощь ему при высоких нагрузках.

На мой взгляд, это статья до сих пор важный вызов с точки зрения того, что автоматизация производит впечатляющее число парадоксов, а люди, которые рассуждают о замене работ LLM не часто видели как выглядят цифровые фабрики, CRM и прочие рабочие места сотрудников и какие бывают проблемы при внедрении таких решений (деградация операторов, нежелание работать в автоматизированной среде, падение мотивации, выгорание, проблемы монотонности труда, разные виды рабочих нагрузок, проблемы обучения и онбординга операторов труда, вышел новый сериал на ТВ в мою смену).

Бейнбридж вроде бы до сих пор жива, вот ее блог
https://www.complexcognition.co.uk/p/home.html

Graceful degradation of performance - надо запомнить и вставлять в презентации

Lisanne Bainbridge

При этом проблема галлюцинаций остается и является составной частью LLM, как я понимаю

Эти огромные 2 процента все еще доказывают мнение Yann LeCun и его дискуссии пару лет назад о том, что автоматизация и гиперавтоматизация в каком-то смысле будут требовать большого вовлечения людей, их участия в процессах отладки - пресловутое "заземление" https://www.group-telegram.com/gulagdigital.com/2098

https://www.visualcapitalist.com/ranked-ai-models-with-the-lowest-hallucination-rates/?fbclid=IwY2xjawHxmAtleHRuA2FlbQIxMAABHSfd5s_wBsGQq0vmkJCA1P5_FIWgF4H6nPlc6z-59fr5h9YPtj0hJdj-4w_aem_QVeuH5FjvkPxW5yaBN-IcA

Рабочая нагрузка, стресс и скука

Одним из самых ясных парадоксов современной работы является то, что компьютерные системы, разработанные для снижения сложности задач и когнитивной нагрузки, фактически часто возлагают еще большие требования и стресса на тех самых людей, которым они должны помогать. Подумайте, сколько раз в вашей собственной работе компьютер казался препятствием для завершения задачи, а не полезным инструментом. То, как люди справляются с таким стрессом, оказывает как непосредственное, так и пролонгированное воздействие на их производительность и благополучие.
В книге The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies, and Emerging Applications. редакция Jacko приводится модель стресса за авторством Hancock о взаимодействии с технологиями, что само по себе достаточно интересно.

Фундаментальным положением модели Хенкока является то, что в подавляющем большинстве ситуаций (даже в ситуациях довольно высоких требований) люди эффективно адаптируются к возмущениям ввода при появлении задач. То есть, они могут выдерживать высокие уровни как перегрузки, так и недогрузки без огромных изменений своих возможностей производительности. Адаптивные процессы происходят на многих уровнях, некоторые из которых - физиологический, поведенческий (т.е. производительность) и субъективный/аффективный. Эти адаптации представлены в модели в виде серии вложенных, расширенных перевернутых U-образных функций , отражающих тот факт, что в большинстве условий адаптивное состояние организма стабильно. Однако в экстремальных условиях недогрузки или перегрузки окружающей среды “сбои” в адаптации все же происходят.
Таким образом, когда человек возмущается входным воздействием, первым порогом, который он преодолевает, является субъективный комфорт. Затем следуют поведенческие эффекты и, наконец, отказ физиологической системы (например, потеря сознания). Примеры таких крайних сбоев относительно редки в большинстве условий, хотя, когда они все же происходят (например, в конфликтных ситуациях), они зачастую катастрофичны для человека и системы, в которой он или она работает

Модель Hancock и Warm учитывает уровни адаптации и изменения адаптации, которые происходят под действием движущих сил стресса. Однако она не формулирует точно, как усилия распределяются под воздействием стресса или какими механизмами люди оценивают параметры задачи, являющиеся непосредственным источником стресса. Следствие для HCI состоит в том, что компьютерные задачи, которые налагают либо слишком большие, либо слишком малые требования, скорее всего, будут оцениваться как стрессовые. В последнем случае стресс от недогрузки будет интерпретироваться как скука. Таким образом, процесс проектирования для разработки компьютерных интерфейсов должен включать оценку воспринимаемой нагрузки, а также аффективного состояния.

Решил после нового года составить список книг по истории техники и технологий: в том числе на русском, ну, думаю, есть специальные научные организации типа ИИЕТ Ран, кафедры факультетов по истории технологий, и, конечно, мне вспомнилась книга по истории античной науки и техники за авторством Ивана Дмитриевича Рожанского - читал ее в молодости, решил проверить, что там еще написано: маленькая книжка в которой рассказывались основные факты относительно античных достижений - Филон Александрийский, пневматика, театральная техника, первая оптика и т.д.

В биографии внезапно строчка, что известный историк науки был сыном Дмитрия Аполлинариевича Рожанского - одного из главных учеников создателя радио в Российской империи, Попова. https://www.computer-museum.ru/articles/spetsialnaya-tekhnika-svyazi-i-radiolokatsii/336/
В 30ые он создает радиолокационные приборы для обнаружения самолетов (импульсный метод радиолокации), до этого современный осциллограф, исследования СВЧ.
28 сентября 1930 г. в «Ленинградской правде» выходит статья «Рожанским нет места в семье советских ученых» (Это известное дело Промпартии https://ru.wikipedia.org/wiki/%D0%94%D0%B5%D0%BB%D0%BE_%D0%9F%D1%80%D0%BE%D0%BC%D0%BF%D0%B0%D1%80%D1%82%D0%B8%D0%B8 ). Дело в том, что 25 сентября 1930 г. на физико-механическом факультете Политехнического института состоялось собрание, на котором обсуждалась подрывная деятельность «вредителей». Вначале был доклад, затем состоялось голосование. Все собрание проголосовало за смертную казнь «вредителям», кроме Дмитрия Аполлинариевича Рожанского, который воздержался. На вопрос председательствующего, по каким мотивам он воздерживается, Дмитрий Аполлинариевич спокойно ответил, что ему ничего неизвестно об этом деле, что он, конечно, против «вредительства», но и против смертной казни.

Спасает ученого…. Киров, без объяснений Рожанского освобождают, в 1936 году умирает(возможно, именно поэтому и не расстреляли, не дожил до 1937 года).

Некоторые выводы из теории рабочей нагрузки, опять по книге The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies, and Emerging Applications

Гедономика: содействие приятному взаимодействию человека и компьютера

Исследования стресса традиционно следовали императиву эргономики и человеческих факторов в целом - сначала не навреди, а затем стремиться предотвратить боль и травмы. Как и вся поведенческая наука, исследователи стресса часто стремились лечить симптомы стресса и смягчать его негативные эффекты на производительность. Однако с появлением позитивной психологии (Seligman и Csikszentmihalyi 2000) наблюдается движение к включению стимулирования удовольствия и благополучия, а не ограничению усилий только предотвращением боли. Hancock (Hancock, Pepe и Murphy 2005) ввел термин "гедономика" и определил ее как ту ветвь науки, которая способствует приятным или приятным аспектам взаимодействия человека с технологиями. Короче говоря, цель гедономики - проектировать с учетом счастья.

Гедономика - довольно новая область исследований, но в последнее десятилетие наблюдается быстрый рост исследований, касающихся аффекта и удовольствия. Аффективные оценки предоставляют новую и отличную перспективу в инженерии человеческих факторов. Речь идет не о том, как оценивать пользователей; речь идет о том, как пользователь оценивает (Hancock и др. 2005). Исследования гедонических ценностей и соблазнительных интерфейсов фактически являются желанным контрастом исследованиям безопасности и производительности, которые так долго доминировали в инженерии человеческих факторов и эргономике (ИЧФ/Э). Однако следует отметить, что приятное взаимодействие с технологиями не обязательно способствует счастью.

Гедономический дизайн имеет очевидную важность для разработки потребительских продуктов, но в принципе он также может преобразовать саму природу работы, делая ее "забавной". Хотя могут быть некоторые задачи, которые никогда не будут полностью приятными, есть много людей, которые имеют работу, которую можно сделать более приятной, спроектировав задачи таким образом, чтобы они поощряли телетическую работу (Csikszentmihalyi 1990), одновременно способствуя внутренней мотивации (Deci и Ryan 2000).

Мотивационные предпосылки можно рассматривать как элементы рабочей среды, которые способствуют и питают внутреннюю мотивацию. Ключевым для проектирования является выявление мотивационных инвариантов, или факторов среды, которые последовательно определяют уровень внутренней мотивации человека в разных контекстах. Существуют некоторые аспекты работы, которые были определены как важные для формирования внутренней мотивации и, таким образом, могли бы считаться мотивационными инвариантами. Например, предоставление обратной связи, воспринимаемой как контролирующей, а не информативной, tends to undermine a sense of autonomy and competence and thereby reduces intrinsic motivation (Deci, Ryan, and Koestner 1999). Тщательный анализ структуры мотивационных предпосылок позволяет разработать задачи, которые, вероятно, будут более приятными, делая инструменты более удобными (Illich 1973) и тем самым способствуя синергии человека и машины (см. Hancock 1997).


https://en.wikipedia.org/wiki/Peter_Hancock_(professor)

https://peterhancock.ucf.edu/