В октябре группа исследователей из Apple опубликовала статью с вопросом: способны ли языковые модели (LLM) рассуждать. Они лежат в основе работы Chat-GPT и многих других инноваций в сфере ИИ. Для проверки взяли математический тест начальной школы (GSM8K). Цитата из статьи:

«Математическое мышление – важнейший когнитивный навык, который помогает решать проблемы в многочисленных научных и практических областях. Следовательно, способность больших языковых моделей (LLM) эффективно выполнять задачи математического мышления является ключом к развитию искусственного интеллекта и его применения в реальном мире».

Существующие модели неплохо справляются с базовым тестом, показывая результаты выше 80% верных ответов. Исследователи решили выяснить – является ли это результатом понимания задач теста?

Для начала в заданиях заменили имена и названия предметов, а также поменяли цифры. Условная Софи стала Анной, груши – персиками, а 3 штуки за 2 доллара превратились в 5 штук за 80 центов. Выяснилось, что замена имен не так критична, как изменение значений, однако точность ответов на измененные задачи теста начала падать.

Тогда исследователи усложнили задачи, добавив к условию новые параметры. Например, ввели в задачу на расчет стоимости звонка по телефону дополнительные скидки с определенной минуты разговора и скидку при достижении порога стоимости в 10 долларов. А на третьем шаге в задачи добавили не относящиеся к делу обстоятельства, запутывающие задачу.

Например, фермер Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. А в воскресение он собрал вдвое больше киви, чем в пятницу, но пять из них было немного меньше, чем в среднем. Сколько всего собрал киви Оливер?

Выяснилось, что лишняя информация про размер пяти киви сбивала с толку. В статье приводятся примеры рассуждений o1-mini и Llama3-8B, которые предлагают вычесть 5 киви из общего числа собранных в воскресение, «так как они меньше, чем в среднем». Падение точности решения тестов в этом случае стало драматическим. Например у GPT-4o результаты на 40% хуже по сравнению со стандартным тестом.

Лет 10 назад я составил тесты из задач для проверки уровней начальных кю для студентов. Проверять игровой уровень на задачах бессмысленно, но тестировать как-то надо, поэтому придумывал тесты с небольшой заковыкой, чтобы в них нужно было немного подумать. Редко кому удавалось пройти тесты с первого раза. Основные ошибки: невнимательность, что понятно; затем обобщение, когда человек сам подменил в голове суть вопроса; отвечающий сбился так как отвлекся на второстепенный фактор.

Послушав про результаты исследования, задался вопросом, а часто ли мы сами думаем? И сколько людей прошли бы такой тест от разработчиков?

Ссылка на разбор статьи: https://www.youtube.com/watch?v=tTG_a0KPJAc

Отрывок одной из последних встреч в Noodom.

Октябрь 2024

Вопреки интуиции, центр доски не самое лучшее место для начала игры. Вместо борьбы за центр игроки строятся в углах. Игра в четырех углах рождает естественное противоречие между своими группами. Возникает дефицит ходов, когда тебе нужно сыграть в нескольких местах одновременно.

Строить позицию в одном углу, конечно, проще. Но и сломать такую стратегию легко. тот, кто умеет двигаться сразу в нескольких направлениях, не теряя связность, обладает неоспоримым преимуществом перед игроком, который действует линейно.

Собранные в одном углу камни похожи на один проект. Большой бизнес включает в себя несколько углов и сторон. В нем постоянно возникает дефицит управления, ресурсов, времени. «Текущая ситуация всегда ужасна!» – любимое выражение топ-менеджеров Toyota.

Децентрализованные, роевые организации на большом масштабе обыгрывают линейные иерархии. У роя все узлы равны. Когда один узел взял на себя роль лидера, другие превращаются в ведомых. Но в случае изменения ситуации новый узел готов взять управление на себя.

В иерархии больше порядка. В ее основе лежит сосредоточение. С плотным проще работать. Вот почему в окружающем нас мире так популярна автократия. Рой сталкивается с колоссальным трением реальности из-за наложения разнонаправленных волевых векторов составляющих рой частей. Коллективное решение часто оказывается худшим из возможных. Эта закономерность получила название принципа институциональной глупости.

Го сочетает переход от сосредоточения к рассредоточению и обратно. Децентрализация создает множество угроз и окружает сосредоточение. Проблема децентрализации в сложности управления и риске разрыва связей, когда узлы роя выходят из-под контроля. Чтобы избежать этого, мы рассредоточиваем камни, но сосредоточиваем управление.

Что это означает на практике? Камни следует распределять по всей доске, играя в четырех углах одновременно. Однако ни одна локальная группа не должна расти за счет других. Управление развитием сосредоточено на главной цели – победе в игре. Победа – это не максимальная территория и не бессмертные группы. Победа – это превосходство. Превосходство означает быть вне конкуренции.

(Из книги «Игра императоров. Стратегии Го для жизни, бизнеса и войны»)

Продолжение заметки о трех ошибках в бизнесе. Ошибка № 3 вкладывать туда, где плохо. Многие бизнес-тренеры говорят: «Не усиливай сильное». Однако, если ты в бизнесе занимаешься только тем, что плохо работает, то через непродолжительное время и то, что было сильным, тоже испортится. Сила дает потенциал, который однозначно нужно использовать. Другими словами, копай там, где золото.

Напомню, что делал свою заметку на основе интервью основателя девелоперской компании. Записав цитату, я задумался о том, насколько этот принцип применим к Го. Особенностью позиций на гобане является возможность построить бессмертную группу с двумя глазами.

С одной стороны, конечно, нет смысла делать сильные камни еще сильнее. Но представим себе случай, когда наши сильные камни были постепенно окружены камнями соперника и потеряли свой потенциал влияния. Ведь если руководствоваться логикой не усиливать сильное, то сильные и перспективные камни можно забросить, переключив внимание на что-то еще. И всё – их потенциал рано или поздно сгорит.

Часто говорят: «Найми людей лучше себя». Но это не всегда работает в бизнесе. Важно развивать силу фаундера, который проходит через поражения, сам укрепляется за счет грамотных регламентов и систем мотивации своей команды и постепенно растет.

С этим утверждением полностью согласен. В Го ты не можешь посадить за доску профессионального игрока, который будет играть твою партию за тебя. Если же взять такого игрока в команду и играть вместе с ним, то его ходы войдут в диссонанс с действиями более слабого партнера. Такая команда, скорее всего, развалится.
Поэтому командный формат рэнго является мощным тренингом на командообразование. Главное, после такой игры не рассориться. Несколько лет назад на ВЭФ мы привозили пару из Китая: мужа и жену. Китаец был сильным игроком, а его жена играет послабее, но зато работает ведущей на телеканале, посвященном Го. И мы их спросили, часто ли они играют парой? На что китайка сказала: стараемся не играть, так как и до развода недалеко дойти.

И действительно, переводчица сказала нам по секрету, что во время партии после хода своей жены китаец ей сказал: «Эй, ты зачем туда камень поставила?» На что китаянка уверенно ответила: «Сиди и молчи, я сама знаю, куда ходить!» Гонорар за участие в матче у меня забрала она, молча убрав к себе в сумочку.

В интервью Тима Кука услышал его неожиданный инсайт о том, как он пытался спланировать свою жизнь на 25 лет вперед, когда учился в аспирантуре. По словам СЕО Apple первые года два он описал более-менее точно. А вот дальше жизнь пошла таким путем, что написанный 25-летний план можно было смело выбрасывать в мусорку. Конечно, в плане не было даже намека на то, чтобы возглавить крупнейшую корпорацию мира.

По мнению Тима Кука, у жизни есть свой характер, который проявляется в случающихся с тобой событиях. Он сказал «way of happening», не знаю, как это точно перевести на русский. Жизнь постоянно выталкивает тебя с продуманного заранее маршрута. Самое главное – следовать за жизнью и ее поворотами. Убедиться, что вы ловите тот момент, когда двери открываются, и выбираете ту, через которую вы пройдете вперед.

Аналогичный инсайт я для себя открыл благодаря игре Го. Конечно, можно и нужно планировать, но при этом полезно быть готовым не пропустить открывшуюся дверь. Возможно, что она и есть продукт твоего плана, просто ты не учел заранее этот сценарий.

В 1990-е годы компания «Филипп Моррис» посчитала для правительства Чехии выгоду отказа от запрета на курение с помощью cost/benefit анализа. И оказалось, что ущерб для правительства заключался в росте расходов на здравоохранение.

А выгоды были следующие: рост налоговых и акцизных поступлений, люди меньше живут, значит идет экономия на пенсиях, на том же здравоохранении, а также падают расходы на социальное жилье для одиноких стариков.

Чистая выгода правительства в год измерялась 147 миллионами долларов. Экономия для бюджета от ранних смертей из-за курения давала 1227 долларов на каждого курильщика.

Аналогичный анализ провела компания Ford для своего автомобиля Ford Pinto, у которого при авариях взрывался топливный бак. В компании и выяснили, что стоимость изменения конструкции автомобиля и внедрение этого решения во все машины обойдется в 137 млн долларов.

А ущерб в целом примерно оценили так: 180 смертей ценой 200 000 каждая (стоимость выплат компенсаций страховым компаниям) плюс 180 раненых ценой 67 000 каждый, плюс ремонт 2000 машин ценой 700 долларов каждая всего дает 49,5 млн долларов.

Получается, что модернизировать автомобиль невыгодно. В США был большой скандал, когда менеджменту компании пришло в голову показать этот анализ как аргумент в суде.

Однажды на клубе Го услышал такое замечание: «Ни один камень Го не хочет быть пожертвованным, даже если его жертва необходима в интересах всей позиции». Это был комментарий к разговору об одном проекте, в котором мне предлагали поучаствовать, принеся свои интересы в жертву.

Несмотря на кажущуюся дикость cost/benefit анализа, его применение встречается довольно часто. Как я понял из цикла лекций Сэндела, в США сейчас есть более широкий выбор оптики, позволяющей смотреть на проблемы не только в логике утилитаризма.

Отрывок из лекции в Газпром Го школе

Октябрь 2024

Японская стратегическая игра Го очень наглядно может научить, как камни могут выглядеть абсолютно сильными, живыми и жизнеспособными. Эти камни можно даже дорого «продать» своему противнику.

Но мастер игры способен в мгновение разглядеть каковы камни в действительности. Со стороны это воспринимается часто как чудо, и производит сильное впечатление. Как ему удается подобное? Как разглядеть скрытую потерю жизненности в своем строе камней? Как игрок может превратить успешные, эффективные и ценные камни и группы таких камней в груды и в обузу для игрока? Как ему вообще удается такое?

Конечно, это всегда будет воспринято наблюдателями как чудо, как высшее мастерство. И внешний наблюдатель не разглядит, что произошло на самом деле. Если поговорить с мастером, то скорее всего, он объяснит вам, что он просто способен воспринимать не только камни, а и пустоту, которая также, как и камни, имеет свой порядок.

Строй пустоты – особый. Он ничем не лучше строя камней, и без строя камней не имеет смысла. Объемный взгляд опытного игрока там, где другие воспринимают только строй камней, воспринимает и строй камней, и строй пустоты. Именно пустота, незаметная большинству игроков, является источником жизненности камней.

Если чужие камни действительно сильны, вы можете умножать их силу еще больше, до тех пор, пока она не становится избыточной. Если камни слабы, вы можете создавать условия для того, чтобы такие камни были разорваны на части находящейся в них пустотой, используя для этой цели свои камни и камни противника.

Что ваш противник может противопоставить способу, в котором его камни, ваши камни, а также пустота действуют сообща против его воли? Конечно же, он будет побежден! (из архива школы)