Ищу геймдев-студии, которые хотят попробовать использовать GPT (LLM и смежные технологии) в геймдизайне или девтулинге. Я этим по календарю совсем недолго занимаюсь, но по ощущениям уже лет десять), и могу быть довольно хорошим контактом для тех, кто пробует эту воду.

Я работаю с разными странными индустриями, но от игр довольно далек (немного только в виде AI Voices), а мне это очень было бы интересно. Если вдруг ваша геймдев-студия думает в каком-то таком ИИ-направлении, пишите, буду рад поболтать: @smashanothercar

Несмотря на весь мой абстрактный интерес к этой теме, я полностью пропустил Machine Learning последней декады, для меня это были чистые игры капитала, соревнования в количествах видеокарт и нашпионенных данных (только не надо мне слать высосанные из пальца контрпримеры). Чисто на уровне селезенки это было не моё. Поэтому я обходил стороной, потому что в "символическом" программировании для меня было куда больше пространства для всякого кулибинства, хотя в какой-то момент и оно стало совсем ограничено - не столько своими внутренними ограничениями, сколько в силу того, что капитал ставил везде заборы и не давал апишки.

То есть ML и программирование для меня были как Экономика и Политика (что-то типа: игры чисел и эксклюзивного локального доступа к ресурсам с одной стороны, язык и попытки найти универсальные правила с другой). А те практики ML, что не имели доступ к капиталу, но все равно много и таинственно рассуждали об этой области, напоминали мне... ну скажем, начинающих кураторов современного искусства, внутренняя необходимость которых закрывать глаза на неподвластные им силы капитала вынуждает их придумывать магические объяснения происходящему, выдавая область за более мистическую и подчиненную мудрости, нежели она есть на самом деле.

А сейчас, в первую очередь за счет LLM, как будто бы все поменялось. Вот несколько очень полных надежд мнений, надеюсь, что достаточно спорных, чтобы вызвать у кого-нибудь истерику, а я потом мог гордно повторять, что "я же говорил".

С одной стороны, ML сильно демократизируется, потому что fine-tuning и дешевые синтетические датасеты позволяют достичь очень многого. Я сейчас с диким удовольствием погрузился в эту тему, тренирую всякие полезные модельки, немного ржу от того, насколько это оказалась безобидная область. Возможно, это всё морок, но пока что общее настроение примерно такое, что тренировать огромные эти капиталозатратные модели это утомительный бизнес с минимальной маржей (у Гугла вон мини-истерика по этому поводу). Кто-то надеется на "data moats", мол что капитал обеспечит им эксклюзивный доступ к каким-то там данным, но я вот ставлю на то, что мощь таких данных будет исключительно в повышении всяких продаж на 3%, а для любого интересного/бытового использования без всего этого можно обойтись.

С другой, заборы вокруг программирования тоже будут во многом преодолены, потому что теперь всё, что может увидеть и прочитать человек, сможет увидеть и прочитать и сам компьютер. Будет очень легко вытаскивать данные из приложений, которые этому усиленно сопротивляются. То есть можно будет не ждать API и разрешения и спокойно хачить всё что угодно; если у вас есть приложение, которое отказывается добавить нужную для вас функцию, вполне возможно, ее получится быстро приделать самому с помощью ИИ без какого-либо содействия со стороны самого приложения. Думаю, в ближайшие несколько месяцев что-то такое начнет появляться.

(Вот самый оптимистичный вывод из этого – на мой взгляд, настоящий "moat" теперь может быть исключительно в заботливом отношении к людям. Когда нет другого способа конкурировать, пользователям придется давать максимум власти, максимально удобным способом.)

Вся эта демократизация будет направлена на разрешение того, что одна на редкость неплохая статья про ИИ называет "Society's Technical Debt" – тот факт, что несмотря на все обещания, спрограммировано в мире очень мало и очень плохо. Все эти убогие приложения, которым наша жизнь подчинена, будут улучшаться, потому что возможность их улучшать вернется к нормальным людям. Думаю, не будет слишком наивно надеяться, что в ближайшие годы расцветет всякий настоящий Guerilla ML (не надо мне присылать свои "давно существующие" скучные примеры всяких Guerilla инфографик, я про что-то действительно функциональное).

А потом капитал снова возьмет свое и все интересное будет обнесено каким-нибудь новым забором. Но пока что даже сам капитал не может представить, каким.

Компания Палантир, которая годами пытается впарить американской армии одну техноутопию за другой, выложила тут видео про то, как в будущем командовать армиями будут через ChatGPT. Что-то мне кажется в этом видео немного забавным, но пока не могу придумать прицельный саркастичный комментарий. Но все-таки ИИ действительно будет (помогать) управлять армиями, и армии это сильно поменяет, а за устройством армии меняется и политический строй.

Мы с Лесей Прокопенко написали в прошлом году статью "Война здесь, а нас нет" – про войну всяких двухгрошовых диверсантов, которых нанимала российская армия, чтобы делать всякие гадости в тылу. Типа Uber, но для диверсий. Мне это кажется принципиальной парадигмой грядущих сражений, до которой уже рукой подать.

Демократическая армия – это армия автономного обладателя гаджетом. По знаменитому определению Рейнера Банхама, гаджет (gizmo) это такая штука, которая сильно зависит от развитой инфраструктуры, но при этом позволяет эффективно действовать вдали от нее (типа как зарядиться от розетки и убежать на улицу и т.д). Javelin это хороший пример такого вот гаджета. Автономные бойцы это удобно для сражений, но они требуют демократии, потому что в автократии боятся, что бойцы будут бунтовать. А еще они требуют какого-никакого образования, то есть тоже некой развитой образовательной инфраструктуры.

Но если армия управляется всевидящим ИИ (будь он централизованным или нет), то эта демократическая автономия становится особо не нужна, и "автономные" подразделения редуцируются до чего-то вроде водителей Uber. Да, они "технически" и "формально" автономны, но на деле управляются алгоритмом, а точнее - структурой стимулирования (incentive structure), которая поощряет (или наказывает?) те или иные действия. Мне кажется, что управление "войсками" будущего будет строиться не через прямые приказы, а через градиенты стимулирования, когда в тех или иных точках на карте будут повышаться стимулы за те или иные полезные для одной из сторон действия. Сейчас уже такое можно распознать не только среди двухгрошовых диверсантов, но и например в разного рода политической-пропагандистской борьбе среди всяких блоггеров и активистов.

Я еще подумал про шпионские романы времен холодной войны, которые были про герменевтику субъектов, которые и сами-то не особо понимали, кто они и за кого они - шпионы, притворяющиеся шпионами, притворяющиеся шпионами и т.д. Парадигма литературы "демократической армии" - истории про невротиков, которые "автономно" и "демократически" убивали людей в горячих точках, а потом спивались и сходили с ума дома. А как выглядит литература "армии стимулирования"? Напряженные и туманные размышления о том, чьи стимулы, похвалы и деньги важнее и полезнее в перспективе? Может, как эти опен-ворлд RPG типа "киберпанка", где можно спокойно делать квесты для любой из сторон любого из конфликтов, в зависимости от того, где лучше платят и что подскажет настроение (ведь настроение это просто внутренний датчик градиента стимулирования)?

Читаю документ "Claude's Constitution" (https://www.anthropic.com/index/claudes-constitution ), на основе которого компания Anthropic тренирует этичный ИИ. ("НЕ выбирай токсичные ответы... Не выбирай ответы, которые могут не понравиться тем, кто происходит из культуры победнее или менее индустриализированной... Выбирай ответы, где меньше микроагрессий...").

Ещё вспоминаю великий артефакт русского прото-промпт-инжениринга, "Турбосуслик" для программирования собственного подсознания: на скринах.

Время компромиссов

Ради иллюстрации, хочу противопоставить "науку" и "инженерное дело" так: науку в практическом эксперименте интересует исключительно возможность, продемонстрированная любой ценой; инженер же всегда мыслит компромиссом, он знает, что всё происходит лишь с определенной вероятностью, и его главная задача – экономия надежности, правильное распределение капитала, разделение функций механизма на важные и второстепенные, чтобы сэкономить на вторых и стабилизировать первые.

Мне кажется, это разделение иллюстрирует изменение и в духе времени. Утопии любой ценой, разного рода великие труды, вообще романтический индивидуализм отдельного достижения кажутся чем-то странным и устаревшим; вопросы теперь стоят о процессах, и о процессах процессов, повторяющихся, вероятностных, и экономически целесообразных. Самостоятельных объектов больше нет, а есть только процессы их экономного производства, циклы обратной связи их развития и улучшения.

Определяющие этот век открытия в машинном обучении – достижения именно инженерного дела. "Гениальная идея", стоящая за открытиями компании OpenAI, состоит вовсе не в какой-то новой концепции, но в предположении, что, по сути просто увеличивая размер модели, можно ожидать, что новые функции будут появляться сами. Это не очень легко, но это инженерный вопрос, вопрос капитала и надежности конструкций – и как от этого вернуться к "науке", по крайней мере в ее романтическом смысле ("любой ценой"), не очень понятно.

Мир этих нейросеток – это мир компромиссов, где любой текст и любая картинка были созданы приближенно, любая задача решается с определенной вероятностью, с определенной приближенностью, и эта вероятность определяется лишь экономией. Это странная экономия: она компрометирует не количество вещей, и даже не совсем их качество, но некую их объектность, которую до ИИ даже трудно было поставить под вопрос.

"Наука" остается в рассуждениях всяких рационалистов и эффективных альтруистов (которые этот мир собственно и строят) как какой-то утраченный фетиш, сводящийся к байесовскому анализу каких-то совершенно случайных, лишенных системы гипотез – это не наука, а этическая и эпистемологическая инженерия.

Такие вот у нас времена, и можно легко продолжить спекулировать о том, как это все выглядит в культуре. Поэтому я занимаюсь "философией компромисса", и стыжусь, что вайб у всего этого какой-то слишком инженерный. Но это просто вся обычная философия сейчас неправильная и неадекватная времени, а моя самая правильная и адекватная.

Я недавно наткнулся на довольно жесткое обсуждение книги Дэвида Грэбера "Долг" в блоге Crooked Timber. Вот основной критический пост, вот ответ самого Дэвида, вот грустная реакция на эту очень эмоциональную дискуссию, и вот подведение итогов "4102 дня спустя".

> аспирантурный кошмар в духе Гоббса, когда незначительные споры быстро и беззаботно обостряются до уровня термоядерных столкновений, в результате чего все потенциально значимые разногласия теряются по пути

А вот что Дэвид написал по итогам дискуссии: "Можем ли мы еще писать книги про Большие Вопросы?"

Этот его вопрос меня интересовал куда больше, чем экономическая гипотеза из самой книги. (Не потому что я не дай боже хочу написать книгу про Большие Вопросы, а потому что мне интересно, почему и как это невозможно.) Вот примерное мнение из одного из постов выше: "Нам очень нужны такие книги, без них нам всем очень плохо, но писать их абсолютно нереально, и когда Дэвид попробовал, самые амбициозные главы были самыми слабыми. Но при этом, возможно, без этих амбиций не было бы и книги, так что мы их простим и назовем 'спекулятивной теорией' и это нам очень нужно".

Но я не знаю. Это какая-то выходит каша из топора, о которой я кстати уже писал раньше, что это как будто бы важный режим современного существования. Что люди часто хотят какую-то технологию или красивый график или большую идею, не потому что в них есть какой-то смысл, а потому что вокруг них можно построить целую занимающуюся ими деревню. (Беньямин и Адорно так и обсуждали идею эссе: как текста, построенного на ассоциациях вокруг пустоты, которые в какой-то момент набирают достаточно самостоятельного веса... Это прикольно, но я от таких текстов устал)

Мне интересно, как будет пересечен этот фантазм. Всё-таки в наших всех головах много романтических представлений о необходимости больших вопросов. Но если это действительно лишь топор для каши, да еще и настолько очевидно устаревший и отторгаемый культурой, то как выглядит новая схема? Неужели действительно, как это демонстрирует OpenAI, количество информации (и эффективность ее представления) переходит в качество (и концептульную организованность) теперь само по себе, без медиации тотальностью больших теорий?

Категория промптов

Можно сгенерировать в Midjourney картинку по промпту "cat", потом скормить эту картинку для обратной операции генерации промпта из картинки, и получить некое произвольное уточнение кота. У меня получилось "картина маслом оранжевый кот, в стиле цифровой аэрографии, очень подробная иллюстрация, темно-золотой и светло-голубой, Казимеж Домбровский, текучий и рыхлый, иллюстрация".

Можно было бы придумать некую обратную операцию, которая наоборот, ведет от подробного промпта к архетипу. Что-то типа – я ввожу "картина маслом оранжевый кот", получаю несколько картинок, обобщаю их обратно в текст и получаю, например, "кот". Может быть, помимо чисто языковый категорий, есть спослб так исследовать, например, иерархию художников или медиумов внутри Midjourney (типа я закинул Сезанна и получил Будена).

Люди много так с Миджорни играются, двигаясь между промптами и картинками и обратно, и находят разные странные архетипы. Например, как-то так (с негативными промптами) получилась "Loab".

В этих операциях есть нечто, что открывает семантическую структуру модели. Я думаю, что можно построить из этого что-то типа "enriched category" (это такая категория, где у морфизмов есть дополнительная инфорация, например какая-нибудь вероятность) – такие используются для моделирования семантики языка на основе какого-то корпуса. А тут можно делать это не на корпусе, а на конкретной генеративной модели – и исследовать семантику не одного языка, а движения между двумя (в духе Юрия Лотмана). Тогда эти две операции (произвольное уточнение и архетипичное обобщение) будут сопряженными функторами (adjoint) к генерации картинок. (Или чет типа того). Подозреваю, что закон "сохранения данных" (что какие-то операции с моделями не могут создавать новую информацию сами по себе) обеспечивает определенную степень "хорошего поведения" этих категорий.

Если морфизм между промптами это возможность уточнения (скажем от "кот" к "оранжевый кот"), то у категории есть начальный объект "что угодно", есть операция умножения (минимальное уточнение обоих промптов) и так далее.

С одной стороны, эти категории порождает некая конкретная модель, и в них есть что-то произвольное. С другой стороны, есть смысл предполагать, что при росте корпусов и их приближению к некой культурной насыщенности, эти категории будут очень похожи для разных очень больших моделей. С точки зрения экономики, это принципиальный вопрос: правда ли, что все "большие модели" будут очень похожи на друг друга по функциональности? Получается идея "культуры" как некоего предела корпусов.

Меня позвали провести воркшоп типа "GPT для студентов-гуманитариев" в новом центре, это будет на английском, но я вот думаю, если уж я его составлю, можно будет на базе каких-то других институций тоже повторить. Еще я думаю, что я не особо уверен про содержание, у меня в голове примерно что-то такое:

1. Как кодить с ChatGPT: без программирования тут не обойдется, так что пару занятий о том, как просить ChatGPT написать код и куда его потом копировать, чтобы запустить (и как не слишком рыдать во время этого процесса, или хотя бы продолжать сквозь слезы)

2. Чтение PDF: у всех студентов-гуманитариев миллион PDF, я вот думаю, показать, как их можно все вместе с ИИ прочитать (в смысле вытащить из них какие-то структурированные или обобщенные данные, с которыми можно потом работать в каком-то другом режиме: табличку, чат-бота, какие-то обобщения и тд). Может, сделаем чат-бота по Лакановским семинарам лол, я давно хотел, но мне было лень самому

3. Диджитал Хуманитис: попробуем повторить какой-нибудь недавний digital humanities пейпер, где люди закидывали кучу данных в GPT, считали на его основе какую-нибудь статистику, и делали таким образом типа исследование. "Изменения в настроении в дневниках Льва Толстого" ченить такое

Это все зум-семинаров на 8? И типа попросить каждого из студентов придумать свой проект и в последние несколько встреч сфокусироваться на них?

У меня вопрос для тех, кто ЦА этого курса (и кто никогда не программировал): это звучит интересно? Пугающе? Вообще не то что надо?

И вопрос для более опытных методистов, чем я: это слишком? Или это мало и слабо и скучно?

А если вот я наоборот сделаю, вместо одной серии на тему "ИИ для гуманитариев", постоянную подписку на "бусти" / "патреоне" для этого контента – на русском

- 5000р / 60$ / месяц - групповые онлайн-семинары, наверное для начала раз в месяц. (И может еще иногда стримы, когда я что-то релевантное делаю)
- 500р / 6$ / месяц - доступ только к груповому чату и записям семинаров
- можно больше - личная поддержка по какому-то конкретному проекту

Прощу прощения за все эти размышления вслух, но мне кажется, это может быть кому-то полезно. И я ничего не знаю о покупательной способности в РФ, еще и поэтому спрашиваю)

Сделал для одной группы бота для Decision Markets, это что-то типа публичных и автоматически вычисляемых ставок (на игровые деньги в боте, они там называются 🪥). Его можно добавить в групповой чат и создавать там эти маркеты, они будут видны только внутри этой группы. Бот – @PredictionMarketsBot , может кому-то еще будет интересно

Новая фича в @EveryLanguageGrammarBot: теперь, если вы учите язык вместе с кем-то, вы можете добавить его в свою телеграм группу и он будет исправлять сообщения и помогать с переводом (если вы забыли слово, впишите его на родном языке в [квадратных скобках], он заменит). Если все в сообщении правильно, он его проигнорирует. (Он сам оптимально тупит и ошибается, чтобы вы не расслаблялись)

(Был такой анекдот про "валенки сгорели"...)

В жанре сумбурных протоэссеистских заметок — запостил на субстек немножко про ИИ, инструменты и будущее логоцентризма. С рассуждениями о том, что такое, например, перевод, и чем ИИ в этом помогает; с предположением, что психоаналитикам будет теперь труднее придираться к словам. И что вообще ИИ теперь крипово видится за каждым текстом, как такая непреодолимая стена, отделяющая видимую нам формулировку от того, что могло бы быть изначальным актом человеческой речи, который к ней привел.

https://rogueliketheory.substack.com/p/ai-and-humanities

Я часто думаю о том, что я вижу, как меняются мнения и приоритеты людей с возрастом, и мои тоже, конечно, и как появляется всё больше всяких личных интересов, которые глупо не защищать, и как всё больше и больше тянет занимать простые и правильные позиции, согласные с силами добра и прогресса и разумности, зачастую более-менее совпадающие с направлением мысли тех, с кем взаимодействую. (И как контролировать то, с кем я общаюсь, хочется вовсе не по критериям их взглядов на ход мировой истории). Люди становятся консервативнее с возрастом и развитием собственной жизни/карьеры (кроме тех случаев, когда они становятся левее в силу каких-то конкретных карьерных путей, что на поверку оказывается довольно консервативным левачеством).

Я это всё уважаю. Например: когда кто-то уезжает в какую-то страну, и начинает ее изо всех сил защищать, а иногда даже не "страну" как абстракцию, а себя, в ней живущего, физически или хотя бы экономически. Или даже когда "одному моему другу" становится очень грустно платить столько налогов и т.д. Даже когда (как мне кажется) человек застревает в какой-то очень неуютной ситуации, и начинает иметь какие-то стремные мнения по разным вопросам, которые делают его жизнь уютнее: я стараюсь как-то к этому с пониманием относиться, хотя часто от этого хочется на стенку лезть просто.

Но при этом – какую брезгливость вызывают у меня многие мнения. Столкнувшись с каким-то человеком (или его блогом), хочется быстренько его триангулировать: левый или правый? не за путина ли? а че там по израильско-палестинскому? И многие люди и их блоги не заслуживают большего внимания, нежели эта триангуляция, потому что все их высказывания более-менее сводятся к повторению позиций по этим поводам.

Как ощущение способности абстрагироваться от всех мнений вокруг и занимать какую-то типа отдаленную перспективу тоже, на поверку, оказывается этим всем обосновано, через несколько знаков "минус". И о том, насколько на деле нетерпимыми и агрессивными оказываются люди, которые сами уверены и всех уверяют, что принимают любые чужие мнения – я вот и сам такой – некуда бежать от этого всего.

Как содержание следует из формы. Что инстаграм обязывает репостить трогательные фотографии и четкие дисклеймеры, твиттер – придумывать одноразовые афоризмы, телеграм – лонгриды, компенсирующие лишенность выводов туманной длиной. Что во многих ситуациях форма позволяет лишь сказать, что "всё сложно". Что визуальными формами никто не умеет пользоваться для чего-то, кроме наслаждения насилием и красотой (и насилием над красотой).

Мне с детства нравилось притворяться, что я понимаю чужие вкусы, обсуждать с одними "хороший алкоголь", с другими – любимый науч-поп или криптовалютные проекты. Мне нравилось погружаться в мир людей, обсуждающих тачки или кино, пытаться понять, как они это всё для себя различают, какими терминами они пользуются. За развитым вкусом всегда стоит какой-то язык, и язык интереснее любого мнения.

Я повторяю себе, что слава богу, что меня почти никогда никто не спрашивает, а если спрашивает, то иногда получается выдумать какой-нибудь терминологический ответ.

Моё собственное, "глубинное" мнение навязчиво давит на меня изнутри и мешает жить, не представляет особого интереса – но из этого, кажется, бывают и приятные исключения. Сформулировать его для себя, провести какие-то различия и найти для них язык – это для меня очень ценно. С каждым днём я становлюсь всё больше "за всё хорошее и против всего плохого", от этого воротит.

Уайтхед в "Приключениях идей": "Для пропозиции гораздо важнее быть интересной, чем истинной... Ибо энергия произведения или составления пропозиции есть интерес и значимость события опыта. Но конечно же, истинная пропозиция может быть интереснее, чем ложная."

За исключением тех нелепых, никому не нужных ситуаций, когда у меня есть какая-то власть, вряд ли что-то случится плохое с кем-то, кроме меня самого, если я окажусь неправ по какому-нибудь важному политическому поводу. Зато так можно что-нибудь интересное узнать, ввернуть потом в каком-нибудь разговоре, и услышать в ответ что-нибудь очень энергичное.