Telegram Group Search
Список_научной_фантастики_от_читателей_рядов_Фурье.pdf
398.4 KB
Вот очень, очень длинный список того, что вы порекомендовали из научной фантастики за этот и прошлый цикл (который первый).

Руками мы это перебирать не стали, зато убили несколько миллионов токенов у боубэ.

Что сделали:
— Спарсили 5 дней в первом случае и 3 дня во втором комментариев из чата, потому что часть книг обсуждалась в комментариях к постам, часть только в чате (все комментарии к постам попадают в чат, но не все сообщения чата являются комментариями к постам). Вот начиная с этого места в чате парсинг кончился, там ниже не учлись советы, но можно пойти и посмотреть.
— Скормили в LLM нормализовать всё это, считать лайки, дубли комментариев и т.п.
— Взвесили лайки и ответы (не все лайки одинаково полезны).
— Модель прошлась по каждому пункту, проверила написание авторов и книг, правильность указания наиболее популярного названия в переводе на русский.
— Там, где описание было в духе «интрига бешеная» модель расковыряла, почему книгу рекомендуют. Где это можно было вычислить из соседних комментариев, приоритет получили они, где не было ничего вообще — что-то придумала из common crawl.
— Вычли книги первого списка.
— Причесали и добавили к первой серии советов.

Так что теперь после первой серии ещё и вторая, где ВООБЩЕ ПОЧТИ ВСЁ.

--
Вступайте в ряды Фурье!
— Что читаешь?
— Матанализ!
— А чего книга вверх ногами?
— А какая разница?
Please open Telegram to view this post
VIEW IN TELEGRAM
Тут есть три свежие публикации (это не глагол) про то, что называют искусственным интеллектом. Коротко основное.

Блез Агуэра-и-Аркас и Джеймс Манийка из Гугла говорят, что успехи нейросеток заставят нас переосмыслить наши подходы к интеллекту вообще:
— Надо признать, что вычисления — это часть природы. Сама жизнь (ДНК, клеточные процессы, развитие организмов) является формой вычислений. Если что, работа фон Неймана о самовоспроизводящихся автоматах была раньше, чем открыли ДНК, а это примерно одно и то же.
— Нужно делать системы типа мозга человека. Современные компьютеры (даже GPU/TPU) всё еще далеки от архитектуры мозга, что делает нейросетевые вычисления неэффективными.
— Предиктивный интеллект — вещь. Успех LLM показывает, что интеллект во многом сводится к статистическому моделированию и предсказанию будущего на основе прошлого опыта и обратной связи. Это новая база для нейробиологии и ML. Просто живите с этим.
— Интеллект не обязательно требует биологической основы. Возможно, искусственный общий интеллект (AGI) в каком-то смысле уже здесь, а мы просто постоянно сдвигаем планку ожиданий. Многие сейчас считают, что LLM лишь имитирует интеллект. Но тут всё просто: важна функция, а не способ её реализации.
— Коллективный интеллект. Интеллект фундаментально социален, он усиливается за счет масштаба, кооперации и разделения труда между множеством агентов (будь то нейроны в мозгу, люди в обществе или ИИ-агенты). Это новые подходы к архитектуре.

Мы на пороге момента, когда нейросетки не просто имитируют человеческий интеллект, а расширяют наш коллективный, более-чем-человеческий интеллект. Это фундаментальный пересмотр нашего понимания интеллекта, сравнимый с научными революциями прошлого.

А вот Майкл Левин, профессор биологии с кучей публикаций. Он говорит, что если раньше надо было всеми силами отмахиваться от ассоциаций LLM с биологией, чтобы неправильно не понять, то теперь наоборот. Уже без разницы, всё смешалось в одну серую массу. Тезисы:

— Нужна новая область знаний, разнообразный интеллект. Это интеллект во всех его формах. Что значит учиться, принимать решения, иметь внутреннюю перспективу независимо от материального воплощения. Возможно, он один из тех, кого лоббировали грибы.
— Каждый человек начинал как неоплодотворённая яйцеклетка — капля химии и физики. Переход от физики к психологии происходит постепенно, без четких границ. Мы сами не монолитные существа, а системы компонентов.
— Появятся киборги и заполонят планету. Он против чёткого разделения на естественное и искусственное. Жизнь совместима с технологиями на всех уровнях организации.
— Критикует аргументы о том, что ИИ не понимает по-настоящему. Куча мяса в голове тоже не понимает по-настоящему.
— Предлагает пересмотреть понятия творчества, собственности, авторства. Определить, что именно в человечности стоит сохранить. Развить зрелую этику для взаимодействия с разными формами разума.

В общем, жизни роботов важны.

И третья — Нежная сингулярность Альтмана из ChatGPT — всё, поздняк метаться, мы уже прошли горизонт событий — технологическая сингулярность началась, но происходит более плавно и менее драматично, чем ожидалось.

Во-первых, агентские LLM-системы превосходят кучу людей. Они просто умнее большинства для большинства задач. И дальше этот разрыв будет расти.

Во-вторых, в 2026 появятся системы, способные делать новые научные открытия. В 2027 — роботы для работы в реальном мире. В 2030 всё это станет дешевле и доступнее по питанию, плюс роботы достроят свои пепельные купола.

Учёные уже в 2-3 раза продуктивнее с нейросетками. Рекурсивное самосовершенствование моделей уже пошло офигенными темпами. Роботы будут строить других роботов и дата-центры. Ну или всех поубивают, потому что решение проблемы безопасности пойдёт параллельно. Плюс надо ещё как-то обеспечить широкий доступ к суперинтеллекту и избежать концентрации власти у отдельных лиц или стран.

Короче, готовьтесь, говорит Сэм, ибо грядёт!

--
Вступайте в ряды Фурье! Простите, не найдётся ли у вас минутка поговорить о местонахождении Джона Коннора?
Please open Telegram to view this post
VIEW IN TELEGRAM
Если вы работали с LLM, то знаете, как резко и смачно они тупеют от больших командных окон. Продолбать что угодно в промпте — легко. Забыть кусок текста — легко. Большая кодовая база? Забудьте. На этом, кстати, основаны обходы цензуры, когда маленькая цензурирующая модель перегружается огромным запросом, а большая основная его всё же делает.

Виноват механизм внимания — один из столпов их силы "думать". И вот предложили архитектуру, где можно без него. Специально для огромных задач.

Публикация вот.

Предлагают выкинуть внимание. Но не до конца.

Основа трансформера — механизм самовнимания. Это когда каждое слово в тексте смотрит на все остальные слова, чтобы понять контекст.

Это как создание нейронных связей между токенами. Очень круто, сильно, мощно, но требует огромных вычислений.

Удвоили длину текста — получили стек оверфло.

Командное окно Gemini сейчас 1 миллион токенов (по запросу 2), и этого всё равно мало для настоящих задач. Например, переписывания "Войны и мира". Хотя настоящие задачи как-то так все про войну, без мира.

Вместо модели слово-к-слову тут другие подходы:
— Разрезание на куски (например, по 2048 слов). Образуется кластер, который считается внутри себя и создаёт нейронные связи с другими кластерами. Привет, "Жемчужины программирования", привет, Бентли.
— Блоки на основе моделей пространства состояний (SSM) — внутри кусков блоки обрабатывают слова. Это как очень умные свёртки. По сути, это фильтр того, какие нейронные сети строить. Эти операции работают гораздо быстрее, чем внимание, почти линейно по отношению к длине куска.
— Multi-Resolution Convolution layers — внутри каждого куска после SSM есть свёрточные слои с разным шагом. Это позволяет модели улавливать локальные закономерности на разных уровнях детализации — от связей между соседними словами до связей между словами, стоящими чуть дальше друг от друга внутри куска. То есть каждый кластер состоит из кластеров тоже.
— Рекуррентный наблюдатель — снаружи всего этого сидит чудо с механизмом внимания. Ещё одна лёгкая модель, которая умеет хранить общую нить и передавать информацию от одного куска к другому (это, например, GRU или LSTM). Он получает сводку (эмбед) текущего обработанного куска и обновляет своё внутреннее глобальное состояние, передавая его следующему куску. Это помогает поддерживать связность по всему длинному тексту.
— Внешняя память с поиском — для каждого обработанного куска создаётся его компактное представление. Эти представления сохраняются во внешней базе данных памяти. То есть такие краткие пересказы, что там. Когда модель обрабатывает новый кусок, она может сделать запрос к этой памяти, чтобы найти представления наиболее похожих или релевантных прошлых кусков. Извлечённая информация затем добавляется к текущему куску, обогащая его контекстом из далёкого прошлого без необходимости пересчитывать всё заново. Это не вводит квадратичных операций.

Это не полное выкидывание внимания, а его ограничение. Внимание есть у рекуррентного наблюдателя, но оно работает на более высоком уровне абстракции, что дешевле. Можно сказать, что это продвинутый RAG + иерархический процессинг.

Эта хтонь должна работать с окололинейным ростом сложности. Начиная с определённого объёма она лучше других трансформеров в т.ч. разреженных (BigBird, Longformer), с кэшем (Transformer-XL) и известных не-трансформ-подходов вроде извлекающих моделей (REALM, RAG), не-внимательных моделей (RNN, CNN, чистых SSM типа S4, Mamba).

Для чего нужно:
— Вычислять смыслы из большого куска информации, например, всей вашей личной переписки, а то задолбались уже взаимосвязи по чатам искать;
— Отвечать на вопросы по большому набору документации;
— Работать с большой кодовой базой;
— Ну и там ещё что-то придумается.

Короче, они убрали связь токен-к-токену и этим прошли квадратичный барьер обычного внимания. Этой архитектурой можно находить всё важное в блоке очень пристально, а потом отдавать его внимательным LLM.

--
Вступайте в ряды Фурье! Новая модель настолько не-внимательна, что когда ей рассказывают анекдот №371, она смеётся только через три кластера.
@Steen8 спросил, можно ли жрать на ночь ЧТО-ТО.

Можно. Что-то!

Вот исследование про то, как мы c возрастом теряем мышцы, потому что они всё хуже и хуже используют белок из еды для восстановления и роста. Это анаболическая резистентность.

Подумали, что будет круто давать белок пожилым прямо перед сном.

Взяли 48 здоровых дедов в среднем 72 лет. Поделили на 4 группы, перед сном давали напиток:
— Крашеная вода.
— 20 граммов казеина (это медленно усваиваемый белок, например, из творога).
— 20 граммов казеина + 1,5 грамма лейцина (лейцин — аминокислота, которая стимулирует рост мышц).
— 40 граммов казеинового белка.

Белок разметили изотопными трейсерами, чтобы потом посмотреть, куда он попадёт в организме. В смысле, это нерадиоактивные изотопы прямо в структуре молекул, чтобы молекулы отличались от обычных. Их было видно на анализах крови и при биопсии мышц. А биопсию делали часто, 72-летних дедов буквально ощипывали )

Результаты:
— Белок, съеденный перед сном, хорошо переваривался и всасывался в кровь в течение всей ночи.
— 40 г работают лучше. 20 граммов белка (даже с добавкой лейцина) не дали такого явного увеличения скорости построения мышц.
— 40 г казеина усваивается на 53% за ночь, аминокислоты действительно используются для синтеза мышечного белка, и синтез вырос на 33% по сравнению с плацебо.

Это простой и практичный способ помочь пожилым людям бороться с потерей мышечной массы. Авторы думают, что надо выписывать это всем после тестов. Порция белка (творога или специального протеинового коктейля) перед сном может быть хорошей идеей.

А тут разбирается миф про то, что жрать на ночь вредно. Миф на самом деле не миф, а основан на том, что люди, которые едят много ночью чаще набирают лишний вес, у них проблемы с сахаром и т.п. Ночью организм хуже переваривает еду и съеденное может легче отложиться в жир. Еда на ночь может хуже насыщать, и от этого днём хочется жрать больше.

Но оказалось, что большая часть эффектов связана скорее с большими порциями смешанной калорийной еды. А вот если съесть что-то небольшое и низкокалорийное (например, около 150 калорий) или какой-то один тип питательных веществ (например, только белок), то всё может быть иначе.

Итого:
— Небольшая порция белка, это вы уже знаете
— Даже небольшой перекус (белковый или углеводный) может немного ускорить обмен веществ на следующее утро.
— Для людей с лишним весом: если заменить привычные вечерние "вредности" на небольшой перекус, это норм.
— Если женщины с лишним весом ели небольшой белковый или углеводный перекус на ночь (без физической нагрузки), у них немного ухудшалась чувствительность к инсулину утром (это не очень хорошо). Но если такой же перекус на ночь сочетался с регулярными тренировками, то этот негативный эффект исчезал. Более того, у тех, кто ел белок на ночь и тренировался, улучшались показатели здоровья сердца и сосудов (например, снижалось давление).

Пицца на ночь — зло. 150 ккал творога — норм. Если параллельно заняться спортом, вы великолепны.

Вот решили выяснить, как еда или питье прямо перед сном влияют на то, как долго мы спим и просыпаемся ли мы посреди ночи. Сразу: рецензирован материал хреново.

Взяли данные из опроса ATUS, там куча людей с 2003 по 2018 подробно записывали, что они делали в течение 24 часов, включая когда они ели, пили и спали. 124 тысячи человек старше 15 лет, Америка.

— Если люди ели или пили меньше чем за час до сна, они в среднем спали дольше. Женщины на 35 минут, мужчины на 25 минут.
— Те же самые люди, которые ели или пили прямо перед сном, также значительно чаще просыпались ночью и бодрствовали более 30 минут. Женщины в 2 раза чаще. Мужчины в 2,6 раз чаще.
— За 2-3 часа до сна — вероятность спать слишком мало снижалась. Вероятность спать слишком много снижалась. Вероятность просыпаться ночью тоже снижалась.
— Ещё лучше есть 4-6 часов до сна.

Непонятно, почему. Может, сон становится беспокойным, и организм добирает его нормальным потом. Ну и есть шансы на туалет ночью.

--
Вступайте в ряды Фурье! Колобок — это метафора цикличности бытия и неизбежности экзистенциального поглощения.
Короче, тут нас спросили, что лучше выращивать в условиях ядерного постапокалипсиса. Чтобы был такой злак, чтобы и радионуклиды не накапливал, и выживал хорошо, и вообще.

И знаете, есть научные работы! То есть этот вопрос на полном серьёзе изучали. По большей части на пространстве СССР, потому что есть Чернобыль, где рядом можно много чего измерить.

Короткий ответ — злаки не надо, выращивайте гречиху и ешьте гречку.

Если всё же надо злак, то берите рожь или просо.

Гречка — почти не накапливает цезий-137 (один из основных долгоживущих радионуклидов при авариях). Это связано с особенностями её корневой системы и метаболизма калия (а цезий как раз его химический аналог). Хорошо растёт на бедных почвах, не требует сложного ухода, короткая вегетация, много чего стерпит.

Рожь опасна по цезию, но накапливает меньше стронция-90, зимостойка, хорошо держит ионизирующее излучение. Просо — выбор только для засухи.

В этой работе через 30 лет определяли, как радиоактивные изотопы (в основном цезий-137, стронций-90 и америций-241), оставшиеся после аварии на Чернобыльской АЭС, распределяются в почве и как они попадают в растения и грибы на загрязненных территориях. Они изучали это в разных местах: в березовом лесу, на заброшенном поле, в сосновом лесу и в урочище Ясева гора.

Потом анализировали почву — не только по радиации, но и по тому, насколько она плодородна.

Определяли, насколько активно радионуклиды переходят из почвы в растения и накапливаются в них.

— Стронций-90 оказался самым непостоянным — его содержание в почве варьировалось сильнее всего, особенно в сосновом лесу. Это говорит о его большей подвижности. Вероятно, он продолжает высвобождаться из топливных частиц, оставшихся после аварии, и переходит в более доступные для растений формы.
— Цезий-137 распределен более равномерно. Его количество в основном уменьшается за счет естественного радиоактивного распада.
— Америций-241 по непостоянству находится где-то между. Его количество в почве продолжает расти (он образуется при распаде другого элемента – плутония-241), но перемещается он медленнее.

Рельеф местности не оказывал сильного влияния на то, как распределены радионуклиды. Важнее, видимо, мелкие неровности и структура почвы.

— Осока трясунковидная — чемпион по накоплению цезия-137. За ней идут пырей, мятлик луговой и вейник наземный.
— Чем хуже плодородие почвы (меньше гумуса, питательных веществ) и чем меньше в ней влаги, тем меньше цезия-137 накапливали травы.
— Калий и цезий похожи по своим химическим свойствам. Растениям нужен калий. Если калия в почве мало (как в зоне отчуждения), растения могут по ошибке активнее захватывать цезий. Стронций-90 похож на кальций.
— Хотя цезия-137 в почве было гораздо больше (до 9 раз), чем стронция-90, в березовом соке стронция-90 оказалось значительно больше. К концу сезона сокодвижения концентрация радионуклидов в нем возрастает. Не грызите берёзы в постапокалипсисы.
— Грибы. Масленок, польский гриб и зеленка — лидеры по накоплению радионуклидов, независимо от того, где они росли. Белый гриб и гриб-зонтик накапливали значительно меньше. Масленок мог накопить цезия-137 в 18-82 раза больше, чем зонтик, на одном и том же участке! По стронцию-90 разница 29-39 раз. Грибы тоже любят калий. Не покупайте закатки из зоны отчуждения.

Если вам интересно больше практики, то на основе исследований составили методичку "РУКОВОДСТВО по ведению агропромышленного производства в условиях радиоактивного загрязнения земель Республики Беларусь на 1997-2000 гг." Например, навоз и торф могут сильно снизить всасывание радионуклидов из почвы. Засунуть верхний слой почвы (6 см) на глубину 80 см тоже помогает на год отлично. Ещё источник — в 1995 выпустили сборник "Экологический статус загрязненных радионуклидами территорий (Тезисы докладов Международного рабочего совещания по Чернобыльской экологической исследовательской сети)". Там ещё и про звериков, кого лучше разводить.

--
Вступайте в ряды Фурье! Железные бутылочные крышки пока лучше не выбрасывайте
Принесли работу про то, что лично вы живёте в чёрной дыре.

Так что с добрым утром, мажоры!

Теория тут. Препринт есть вот тут.

Работа — гипотетическая идея, как это всё можно объяснить и прекратить очередной бардак. Ну или, по крайней мере, как нам сейчас это видится.

Итак, старая идея происхождения вселенной была в том, что наша вселенная появилась из одной супермаленькой и суперплотной точки. Если у вас есть сразу всё в одном месте и упаковано в точку — это называется сингулярностью.

Та точка долбанула по-большому. Потому что нефиг так плотно запихивать.

Откуда взялась эта точка — непонятно. Просто сразу была.

Новая идея — что Большой Взрыв — это не начало всего, а скорее медленное сжатие и потом быстрое расширение внутри гигантской черной дыры.

Возьмём облако вещества в материнской — другой, не нашей — вселенной. Оно предсказуемо сжалось под действием гравитации. Снаружи это и выглядело бы как образование очень массивной черной дыры.

По старым теориям (Пенроуз, привет), это сжатие должно было закончиться образованием сингулярности и всё.

Тут же говорят, что когда плотность становится невероятно большой, в дело вступает квантовый принцип исключения. Этот принцип (похожий на тот, что не дает всем электронам в атоме упасть на ядро и занять одно место) не позволяет частицам вещества сжаться до бесконечности. Этот принцип не даёт образоваться сингулярности. Вместо того чтобы сжаться в точку, вещество "отскакивает". Этот гравитационный отскок происходит внутри черной дыры.

Короче, есть закон мира, который не даёт положить слишком много вещей в одно место. Если же вдруг так сделать, вещи сильно разлетятся в стороны, что знакомо вам по некоторым спидранам игр.

Короче, примерно так и случилось. Всё и сразу попытались положить в одну точку, и это всё долбануло так, что мы восприняли это как Большой Взрыв!

Продолжаем читать работу. Сразу после такого гравитационного отскока вещество переходит в особое состояние, когда давление становится отрицательным. Это состояние вызывает экспоненциальное расширение. Мы что-то такое видели. Вселенная с нашей точки зрения тоже расширяется.

Почему это уменьшает бардак:
— Мы избавляемся от этой точки бесконечной плотности, где ломаются все представления о физике.
— Расширение и тёмная энергия не берутся из ниоткуда, а возникают естественным образом из самого процесса коллапса и отскока.
— Объяснение через ОТО и базовые принципы квантовой механики.
— Фальсифицируемо. Модель предсказывает, что наша Вселенная должна быть не идеально плоской, а иметь небольшую положительную пространственную кривизну. Будущие телескопы, вроде Евклида, смогут это измерить. Есть намёки. Можно объяснить немного аномалий в реликтовом излучении.

Получается модель "Вселенная в черной дыре", где мы — это внутренность гигантской черной дыры.

Хорошего вам дня!

За находку спасибо @akilaydin (вот его канал) и @jitbit (а вот его канал).

--
Вступайте в ряды Фурье! В дешёвых учебниках по математическому анализу вместо натуральных логарифмов используются логарифмы, идентичные натуральным.
Please open Telegram to view this post
VIEW IN TELEGRAM
2025/06/27 13:03:54
Back to Top
HTML Embed Code: