Вторая часть ревью (первая тут) на книгу Вацлава Смила "Как устроен мир на самом деле".

В целом, с плотностью изложения вполне можно справиться – меня же вы как-то читаете. Сложнее управиться с неявно-пессимистичными прогнозами автора – в отличие от Сан-Хранцисковых "эффективных" аккселерационистов (кто Ланда понял, в цирке не смеётся), Смил верит в логистическую кривую экономического роста. Имеет право, физику мы взламывать пока не научились. 💥

Смил постоянно повторяет, что он учёный, и прогнозы делать ему не с руки. Тем не менее, значительная часть книги посвящена сдержанному высмеиванию несбывшихся прогнозов техно-оптимистов. Наверное, такое полезно читать оголтелым венчурным капиталистам, у которых стартап по отправке картофелин по почте завтра решит проблему мирового голода. Мне кажется, стоит воспринимать пессимистичные настроения автора со здоровой долей скепсиса – всё-таки за последние годы мы стали жить лучше и веселее.

Стоит ли вообще читать книгу? Мне кажется, однозначно стоит, чтобы заземлить (зумер. потрогать траву) своё восприятие реальности. Ещё и спорить ⚔️ с людьми в интернете станет проще. Особенно эта щепотка realekonomik показана людям, работающим в далёком отрыве от настоящей экономики, то есть нам с вами 👋.

Главным бенефициаром бурного развития ИИ стала.. Ангилья? 🧐

Доходы от регистрации доменов .ai выросли в четыре раза и теперь составляют треть государственного бюджета и 20% ВВП Ангильи. Вчера вышло короткое интервью с программистом-бизнесменом, который рассказывает об интересном решении оставить контроль над доменной зоной в государстве.

Прошло почти два месяца с моего поста, и мы наконец выпустили официальный блог-пост про релиз TensorFlow-GNN 1.0 в рисёрч-блоге и блоге TensorFlow. За это время успели пофиксить пару багов совместимости (спасибо керасу), так что попробовать графовые сеточки стало ещё проще. Для самых нетерпеливых – ссылка на GitHub. 👆

Рассказал на мл-митапе в нашей деревне про графы и то, как их варим. ☕️

Получился краткий сэйлс-питч и рассказ "по верхам" про мою работу за последний около-год. Дорогим подпищекам из других деревень прилагаю почти все слайды, без LLM-вишенки. Такое – только лично.

Let Your Graph Do the Talking: Encoding Structured Data for LLMs
[arXiv]

Что мы делаем в 2024? Правильно, засовываем всё, что плохо лежит 🗑, в большие языковые модели. У нас в команде плохо лежат графы, так что в нашей новой статье они отправляются напрямую в PaLM2. 👮‍♂️

Конечно, граф нужно как-то закодировать. У коллег была статья на ICLR'24 (или будет? конференция-то будет в мае), где граф трансформируют в текст простыми способами: как список вершин и рёбер. Вместо этого мы бахнули графовую нейросетку, которая трансформирует граф в набор токенов, которые кормятся LLMке. Поскольку нам хотелось полностью погрузиться в LLM-безумие, напрямую от задачи графовая сетка градиенты не получает – только через языковую модель. Назвали модель GraphToken. 👌

Поскольку мы работаем с графами, мы можем сгенерировать их все. На 8 вершинах существует 11117 связных графов, вот на них мы и тестировались. Тестсет – так уж на все точки пространства – чего мелочиться. ✨

В статье мы показываем, что GraphToken умудряется генерализоваться как in-distribution с 1000 тренировочных примеров, так и out-of-distribution – на новые задачи, очень слабо связанные с предыдущими.

P.S. в названии – отсылка к песне Aerosmith. 😎

Выпускаешь LLM-статью.
Ожидание: слава, богатство, ашиндекс под сотню. 👀

Реальность: от тебя отказываются экс-соавторы. 😮‍💨

29 февраля и 1 марта в нашей деревне пройдёт Learning on Graphs NYC meetup (анонс). В этот раз слово “деревня” я использую почти буквально, ведь любителям графов придётся переплыть через Гудзон, в Джерси-сити. ✝️

Я расскажу про побольше рисёрча и закину пару баек из прода. Если кто ещё не решился заниматься графами, приходите, будем переубеждать. 🦯

На просторах интернета набрёл на список неожиданных эпонимов и немного офигел. Из примеров:
· MySQL
· Debian
· Taco Bell
· Mars
· German chocolate cake
· Baker's Chocolate

Все названы в честь основателей. Особенно нельзя доверять вещам, связанным с шоколадом. Очень проклято. 🤬

Альтернативные раскладки клавиатуры

Эргономика – это штука, про которую почему-то мало говорят. А есть про что! Пару недель назад я начал замечать боль в пястно-фаланговом суставе мизинца, так что пришлось пройти экспресс-курс про эргономичную печать. В кроличью нору я залез по пятки, так что трамва подвезла контента дорогим подписчикам аж на несколько постов. 👆

Началось всё в конце 19 века с изобретением механической печатной машинки. Раскладку QWERTY – да-да, той, который мы пользуемся по сей день, можно увидеть в одном из оригинальных патентов. Кстати, популярная теория о том, что QWERTY была специально разработана для того, чтобы не заедали соседние буквы, скорее всего неверна (хотя коэволюция хард- и софтвера интересна всегда). Тем не менее, на QWERTY крайне неудобно печатать 🤬– очень часто приходится водить одним пальцем туда-сюда. Это называется same-finger bigrams, или SFB. Для примера попробуйте набрать слово `aluminum` – на QWERTY это делать очень больно. Наверное, можно придумать что-то получше. 💡

В славном 1936, когда Чёрч придумал лямбда-исчисление, а вся Европа съехалась на олимпийские игры в нацистской Германии, Август (не путать с Антонином) Дворак, профессор психологии, разрабатывает и патентует одноимённую раскладку. Это была первая попытка оптимизировать раскладку научным методом – Дворак много изучал распределения сочетаний букв (насколько было тогда возможно) и физиологию рук. Получилось неплохо, но рыночную конкуренцию с QWERTY выиграть так и не удалось.

С компьютеризацией всё больше возрастает число бездельников профессиональных стучателей клавишами. Colemak был создан в 2006 году Шаем Коулманом с целью быть безболезненной заменой QWERTY – например, все сочетания клавиш (Ctrl+Z,C,V) в Colemak такие же, как в QWERTY. С раскладки Colemak началась эра машинно-оптимизированных раскладок, коих сейчас существует множество – есть даже сабреддит /r/KeyboardLayouts, где и происходит сота-рисёрч. О метриках, оптимизации и прочем задротстве я расскажу уже в следующей серии. Успехов в наборе! ⌨️

Мне интересно тестировать большие языковые модели на теоретическом компьютерсаенсе. Для этой статьи Clause 3 Opus корректно находит ошибку в алгоритме, если подсказать, где искать. У людей пока выходит лучше, но то, что модель вообще смогла найти ошибку, очень воодушевляет! 💪

Запись доклада. ✨
Постараюсь дописать пост про раскладки на выходных.

Дизайн собственной раскладки: подход

Буковок на тему клавиатур получилось очень много, поэтому выход один – бить 🦯 на посты. Для начала – дисклэймер: всё, что написано дальше (и в следующих постах) – моё ИМХО. Сколько людей – столько и мнений. Второй дисклэймер: оптимизация раскладки – это сугубо мой хобби-проект, к реальным проблемам имеющий довольно отдалённое отношение.

SotA в эргономичных клавиатурах последние несколько лет – низкопрофильные ортолинейные сплит-клавиатуры типа ZSA Voyager. Если хочется максимизировать эргономичность в ущерб портативности, можно смотреть в сторону Glove80. Для себя я выбрал Corne с Kailh Choc свитчами из-за возможности беспроводного использования. На картинке к посту – именно она. ❤️

Как видим, оптимизировать почти нечего! В Corne цифры спрятаны на отдельный слой, который вызывается по специальной клавише. Вообще говоря, слои – довольно интуитивная штука, например, никого не смущают символы !@#$% поверх цифр 12345, так что научиться ими пользоваться несложно.

Использование цифр и символов – очень индивидуальная штука: кто-то пишет код на расте, кто-то – отчёты в экселе. Я решил сфокусироваться на обычном тексте, а программисты сами себе расставят скобочки. Кому такое интересно – советую талмуд Ильи optozorax, а мы сфокусируемся на буковках. Я работаю и пишу статьи на английском языке, так что оптимизировать будем именно под него.

В итоге получилось сформировать задачу: оптимизируем расположение 30 символов – [a-z] и ,./; на прямоугольной решётке размером 3×10. Оптимизация комбинаторная, никакой выпуклостью там и не пахнет даже для довольно простых метрик. А вот как с такими задачами работать, расскажу в следующей серии. 👉

Дизайн собственной раскладки: данные

Предыдущие части: экскурс в историю, общий подход.

Прежде чем погрузиться в метрики, их на чём-то нужно считать. Как мы знаем, много данных = стабильные метрики, сходящаяся оптимизация, достаток и процветание 🤴. Датасет хотелось подготовить самому, не у Норвига с Карпатым же брать. Изначально мне хотелось собрать статистику с датасета архива, но выкачка данных там только с Amazon S3 за свой счёт, да и формат довольно всратый. В итоге я остановился на Reddit-е, дамп которого с недавних пор (клятые LLMки 🤬) доступен только с торрентов. В сумме сжатых данных получается 2.5Tb, что с комфортом процессится на домашнем компьютере.

Для обработки за пару часов с помочью ChatGPT и такой-то матери был написан и отлажен простенький шелл-скрипт, который читает файлы с помощью jq и считает комбинации букв на awk. Особенно хочется отметить jq – он делает работу с JSONами суперприятной – всякие сложные селекты отрабатывают максимлаьно быстро 📈 без противного парсинга. Файлики с результатами я выложу в комментариях. В следующий раз поговорим о метриках и, наконец, оптимизации. ✨