Тут выложили видео со мной на CppCon https://www.youtube.com/watch?v=cMRyQkrjEeI

Вроде даже неплохо получилось.

Конец года наступает, а посты всё реже и реже выходят. Я очень много занимался тем, о чём вообще нельзя рассказывать, какие-то внутренние штуки, о которых невозможно писать, не рассказав тучу контекста.

Технологический мир в последний год был сфокусирован вокруг LLM, а мне посредственно интересна эта тема. Можно поговорить про UltraFastBERT https://arxiv.org/pdf/2311.10770.pdf , где используют часть нейронов через дерево и с помощью sparse matrix multiplication достигают 78x быстрее inference, но, к сожалению, только на CPU. В целом потолок виден в уменьшении всего этого, но алгоритм не положить на GPU и это вопрос на следующий миллиард долларов. Удешевить всё дело в 80 раз даст доступ к LLM всем в каждом углу.

Я вообще редко читаю на постоянной основе чужие блоги, но блог Стивена Вольфрама мне особенно понравился в прошлом году. Например, про ChatGPT.

The basic answer, I think, is that language is at a fundamental level somehow simpler than it seems. And this means that ChatGPT is successfully able to “capture the essence” of human language and the thinking behind it. And moreover, in its training, ChatGPT has somehow “implicitly discovered” whatever regularities in language (and thinking) make this possible.
...
And perhaps there’s nothing to be said about how it can be done beyond “somehow it happens when you have 175 billion neural net weights”. But I strongly suspect that there’s a much simpler and stronger story.

В целом проекты как https://github.com/tinygrad/tinygrad могут попытаться сделать что-то около крутого вокруг идеи much simpler and stronger story. Пытаться утилизировать всё, в т. ч. на CPU имеет смысл и здравый риск. George Hotz, несмотря на всю его спорную личность, очень сильный инженер и, наверное, много в моем стиле программирования я взял от него. В универе смотрел его стримы чуть ли не 24/7 на старших курсах.

Ещё из интересного я вошёл в комитет по разработке следующего поколения SIMD на Arm -- может быть назовём SVE 3 или как-то так. Учитывая, что SVE2 и SVE2.1 было фактически задизайнено Apple и не особо развивалось у них за ненадобностью, то может быть получится продвинуть дело подальше в правильном направлении.