Цифровой геноцид

Ryen W. White и исследования поиска в эпоху копилотов, агентов и LLM

Иногда буду постить здесь новости и персоналии sigchi awards среди лауреатов и победителей различных лет. Премия вручается в области HCI и UX исследований, в основном много инженеров и специалистов. Одно из имен прошлого года, которая привлекло мое внимание - это имя Ryen W. White, директора по партнерским исследованиям и заместителем директора лаборатории в Microsoft Research в Редмонде https://sigchi.org/people/award-recipients/

Почему? Он исследует поисковые сценарии и изменение поиска в ближайшие годы, а также инновации поисковиков, но гораздо любопытнее его статьи и книги по новым ИИ поисковикам. Information Access in the Era of Generative AI - ее еще нет в открытом доступе, но рецензия на нее уже лежит в arxiv. org, поэтому сэкономим время
https://link.springer.com/book/10.1007/978-3-031-73147-1

Типы информационных потребностей, которые пользователи приносят в IR-системы, изучались десятилетиями.

Ланкастер и Уорнер определили предметные потребности,(2) которые делятся на три категории:
• Помощь в решении определенной проблемы или принятии решения
• Справочная информация по теме
• Отслеживание информации в заданной предметной области

Они назвали первые две предметные потребности ретроспективными информационными потребностями, в которых ищутся уже опубликованные документы, в то время как последняя потребность называется текущей потребностью в осведомленности, которая удовлетворяется путем фильтрации новых документов для выявления документов по определенной теме.

Уилкинсон и Фуллер описали четыре типа информационных потребностей для коллекций документов:
• Поиск фактов — нахождение определенного элемента информации
• Обучение — развитие понимания темы
• Сбор — поиск материала, относящегося к новой проблеме, которая явно не указана • Исследование — просмотр материалов с частично определенной информационной потребностью, которая может быть изменена по мере просмотра контента

Копилоты и LLM никак не соответствуют всем этим сценариям сейчас и не могут - они не предоставляют или предоставляют мало ссылок. Даже когда ссылки предоставляются, они часто не предоставляют прямой цитаты для того, что сказано. Более того, пользователь не имеет представления о том, какой фактический исходный текст привел к тому, что общая модель выдала конкретный текст. Это принципиальная разница между базами данных - динамической и статической, именно поэтому ЛЛМ иногда галлюцинирует… из-за своей креативности, поэтому же она не может удовлетворить информационный запрос

Это рождает целый ряд феноменов. Например, больше нет “счастливой случайности” когда в поисковой выдаче находишь удивительный факт на сотой странице выдачи, который меняет запрос или оценивается необычайно высоко. На данном этапе ситуация выглядит именно так

https://arxiv.org/abs/2311.18550

sigchi.org

Award Recipients

ACM SIGCHI is the leading international community of students and professionals interested in research, education, and practical applications of Human Computer Interaction.

www.group-telegram.com/it/gulagdigital.com/3087

1.1K viewsedited  Jan 9 at 11:50

Ryen W. White и исследования поиска в эпоху копилотов, агентов и LLM

Иногда буду постить здесь новости и персоналии sigchi awards среди лауреатов и победителей различных лет. Премия вручается в области HCI и UX исследований, в основном много инженеров и специалистов. Одно из имен прошлого года, которая привлекло мое внимание - это имя Ryen W. White, директора по партнерским исследованиям и заместителем директора лаборатории в Microsoft Research в Редмонде https://sigchi.org/people/award-recipients/

Почему? Он исследует поисковые сценарии и изменение поиска в ближайшие годы, а также инновации поисковиков, но гораздо любопытнее его статьи и книги по новым ИИ поисковикам. Information Access in the Era of Generative AI - ее еще нет в открытом доступе, но рецензия на нее уже лежит в arxiv. org, поэтому сэкономим время
https://link.springer.com/book/10.1007/978-3-031-73147-1

Типы информационных потребностей, которые пользователи приносят в IR-системы, изучались десятилетиями.

Ланкастер и Уорнер определили предметные потребности,(2) которые делятся на три категории:
• Помощь в решении определенной проблемы или принятии решения
• Справочная информация по теме
• Отслеживание информации в заданной предметной области

Они назвали первые две предметные потребности ретроспективными информационными потребностями, в которых ищутся уже опубликованные документы, в то время как последняя потребность называется текущей потребностью в осведомленности, которая удовлетворяется путем фильтрации новых документов для выявления документов по определенной теме.

Уилкинсон и Фуллер описали четыре типа информационных потребностей для коллекций документов:
• Поиск фактов — нахождение определенного элемента информации
• Обучение — развитие понимания темы
• Сбор — поиск материала, относящегося к новой проблеме, которая явно не указана • Исследование — просмотр материалов с частично определенной информационной потребностью, которая может быть изменена по мере просмотра контента

Копилоты и LLM никак не соответствуют всем этим сценариям сейчас и не могут - они не предоставляют или предоставляют мало ссылок. Даже когда ссылки предоставляются, они часто не предоставляют прямой цитаты для того, что сказано. Более того, пользователь не имеет представления о том, какой фактический исходный текст привел к тому, что общая модель выдала конкретный текст. Это принципиальная разница между базами данных - динамической и статической, именно поэтому ЛЛМ иногда галлюцинирует… из-за своей креативности, поэтому же она не может удовлетворить информационный запрос

Это рождает целый ряд феноменов. Например, больше нет “счастливой случайности” когда в поисковой выдаче находишь удивительный факт на сотой странице выдачи, который меняет запрос или оценивается необычайно высоко. На данном этапе ситуация выглядит именно так

https://arxiv.org/abs/2311.18550

BY Цифровой геноцид