The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [2024] - так что, трансформеры работают на ARC?
Вы могли читать в соседних каналах о том, что LLM смогли приспособить для решения ARC - теста на способность распознавать и применять паттерны по нескольким обучающим примерам. Многие топовые решения основываются на поиске программ, тогда как применение GPT-4 / o1 даёт весьма скромный результат.
В данной работе авторы добавили в LLM-пайплайн несколько улучшений, позволивших получить результат в 62% - число, немного превышающее Avg. Human. Давайте разберёмся, как к этому пришли.
Изначальную LLama файнтюнят с помощью так называемого ReARC - датасету из искусственно сгенерированных задач. Чтобы их получить, был выписан набор элементарных трансформаций над плоскостями, из которых составлялись задачи и образцы. Из этого добра составлялись сэмплы для few-shot in-context обучения. Она решает 5 задач из 80.
Далее наступает Test-Time Training. Получив датасет из N тренировочных пар вход-выход, мы строим следующий датасет для In-Context Learning:
1) Берём каждый из N сэмплов и превращаем в таргет для in-context обучения, т.е. подаём на вход N-1 сэмплов с таргетами и предсказываем N-ный выход.
2) Обкладываем всё дата-аугментациями - симметрии, повороты, перемешивание тренировочных пар, скейлинг. Молимся, чтобы это не повлияло на задачу.
3) Дополнительно, обучаемся предсказывать таргеты со 2-го по N-1-й, это в статье называют Demonstration loss.
Обучаем LoRA (малопараметрический файнтюн) на каждую отдельную задачку в ARC на описанном выше датасете. Во время тестирования, применяем аугментации к задаче и потом ревёрсим обратно предсказанный ответ. Для выбора 2 финальных ответов проводятся выборы. Всё это в сумме даёт 29 задач из 80. Давайте глянем на Ablation:
1) Если обучать одну LoRA на все задачи - 22 / 80
2) Если не применять дата-аугментации - 13 / 80
3) Если вместо хитрого in-context test-time training просто файнтюнить на N сэмплах - 18 / 80
4) Если не файнтюнить модель на ReARC - 9 / 80
5) Если попросить GPT-4o сгенерировать ARC задачи для файнтюна и добавить к ReARC - 24 / 80 😁
Все эти замеры проводились на основе LLama-1B, Llama-8B даёт уже 36 из 80 - результат в 45%. А откуда же взялся результат в 62%? Для этого авторы совместили свою статью с другим подходом - статьёй BARC, про которую я расскажу в следующий раз. Применяя test-time training к нейросети из BARC, получается 53%. Чтобы получить 62%, нужно ансамблировать решение с синтезатором программ.
Интересно, какой был бы результат у всего этого на реальном тестовом ARC-датасете. Могу поверить, что какой-то близкий к этому числу, но теоретически возможны и лики. Всё-таки, авторы тюнили все детали своего подхода на наборе из 80 задач, кроме того, датасет для файтнюна (без которого это почти не работает) теоретически мог содержать операции, слишком близкие к public validation. Именно эти опасности и устраняются наличием полностью секретного тестового датасета.
О том, что нам этот результат даёт в более широком контексте. мы поговорим потом, а пока что просто порадуемся за команду.
@knowledge_accumulator
Вы могли читать в соседних каналах о том, что LLM смогли приспособить для решения ARC - теста на способность распознавать и применять паттерны по нескольким обучающим примерам. Многие топовые решения основываются на поиске программ, тогда как применение GPT-4 / o1 даёт весьма скромный результат.
В данной работе авторы добавили в LLM-пайплайн несколько улучшений, позволивших получить результат в 62% - число, немного превышающее Avg. Human. Давайте разберёмся, как к этому пришли.
Изначальную LLama файнтюнят с помощью так называемого ReARC - датасету из искусственно сгенерированных задач. Чтобы их получить, был выписан набор элементарных трансформаций над плоскостями, из которых составлялись задачи и образцы. Из этого добра составлялись сэмплы для few-shot in-context обучения. Она решает 5 задач из 80.
Далее наступает Test-Time Training. Получив датасет из N тренировочных пар вход-выход, мы строим следующий датасет для In-Context Learning:
1) Берём каждый из N сэмплов и превращаем в таргет для in-context обучения, т.е. подаём на вход N-1 сэмплов с таргетами и предсказываем N-ный выход.
2) Обкладываем всё дата-аугментациями - симметрии, повороты, перемешивание тренировочных пар, скейлинг. Молимся, чтобы это не повлияло на задачу.
3) Дополнительно, обучаемся предсказывать таргеты со 2-го по N-1-й, это в статье называют Demonstration loss.
Обучаем LoRA (малопараметрический файнтюн) на каждую отдельную задачку в ARC на описанном выше датасете. Во время тестирования, применяем аугментации к задаче и потом ревёрсим обратно предсказанный ответ. Для выбора 2 финальных ответов проводятся выборы. Всё это в сумме даёт 29 задач из 80. Давайте глянем на Ablation:
1) Если обучать одну LoRA на все задачи - 22 / 80
2) Если не применять дата-аугментации - 13 / 80
3) Если вместо хитрого in-context test-time training просто файнтюнить на N сэмплах - 18 / 80
4) Если не файнтюнить модель на ReARC - 9 / 80
5) Если попросить GPT-4o сгенерировать ARC задачи для файнтюна и добавить к ReARC - 24 / 80 😁
Все эти замеры проводились на основе LLama-1B, Llama-8B даёт уже 36 из 80 - результат в 45%. А откуда же взялся результат в 62%? Для этого авторы совместили свою статью с другим подходом - статьёй BARC, про которую я расскажу в следующий раз. Применяя test-time training к нейросети из BARC, получается 53%. Чтобы получить 62%, нужно ансамблировать решение с синтезатором программ.
Интересно, какой был бы результат у всего этого на реальном тестовом ARC-датасете. Могу поверить, что какой-то близкий к этому числу, но теоретически возможны и лики. Всё-таки, авторы тюнили все детали своего подхода на наборе из 80 задач, кроме того, датасет для файтнюна (без которого это почти не работает) теоретически мог содержать операции, слишком близкие к public validation. Именно эти опасности и устраняются наличием полностью секретного тестового датасета.
О том, что нам этот результат даёт в более широком контексте. мы поговорим потом, а пока что просто порадуемся за команду.
@knowledge_accumulator
Почему нельзя доверять людям
Многим попадались нарезки с российского ТВ, когда доктор медицинских наук пересказывает байки с третьесортных сайтов. Если вас это хоть чуточку удивляет, то данный пост для вас.
Почти все мы занимаемся созданием продуктов интеллектуального труда. Этим является всё - от гороскопов в "Комсомольской правде" до фреймворка для нейросетей. Существует 2 вида валидации продукта - назовём их человеческий и проблемный.
Человеческий объединяет все валидации вида "Другой человек посмотрел и одобрил результат" - начиная от ревью научных статей и заканчивая проверкой домашки по ИЗО в школе. Проблемный - проверка вида "По-честному тестируем на задаче".
Проблемный способ валидации самый лучший. Только он позволяет надёжно установить, что решение работает. По сути, такую проверку можно описать как "контролируемое исследование" - от слепого тестирования лекарства против плацебо до проверки предсказания гороскопа.
Но вот беда - проблемный способ редко применим, и поэтому в большинстве сфер нашей жизни доминирует именно человеческая валидация. У неё есть одна маленькая проблема: она - говно. Давайте через эту призму взглянем на то, как работает "научное сообщество".
Начиная с бакалавриата, продвижение по научным званиям сопряжено с написанием сочинений - курсовые, дипломные работы, статьи и диссертации. Их проверяют люди с более высоким научным званием разными способами - пишут отзывы, рецензии, устраивают защиты. Всё это - человеческая валидация.
Достаточно легко предсказать, что происходит с системами, построенными только на человеческой валидации. Даже будучи созданной гениями, со временем в неё проникает всё больше людей, которые плохо валидируют результаты - им либо лень, либо пофиг, либо они максимизируют свою личную выгоду внутри системы. Чем эта система больше, тем больше она подчинена процессам, а их легко абьюзить.
К счастью, в таких системах можно бороться со скатыванием. Для этого необходимо внедрять проблемные методы валидации продуктов труда. Они позволяют не только продвигать внутри системы реально полезных людей, но и валидировать систему снаружи.
Я придерживаюсь такого правила - если у человеческой системы нет обширной проблемной валидации, то, скорее всего, ей не нужно доверять. Рассмотрим на примерах.
Почему я знаю, что сообщество инженеров или врачей - в целом норм? Они производят продукты, регулярно тестируемые практикой. Лекарства по-честному тестируют и они реально улучшают жизнь, а ракеты и спутники летают и не падают. Чем ближе конкретный эксперт к созданию этого решения, тем больше он заслуживает доверия. Но вдали от таких проверок, даже внутри сообщества будет доминировать скам. Отсюда и берутся те самые докторы на российском ТВ.
К сожалению, подавляющее большинство человеческих систем вообще не базируются на проверках реальностью, и весь их пафос и регалии базируются только на том, что эксперты экспертно оценивают других экспертов. Часто, когда продукт таких областей подвергают честной проверке, ничего не работает, и тогда эксперты возвращаются в своё комфортное логово.
В качестве примеров могу привести альтернативных медиков, психологов, экстрасенсов, гороскопистов, экономистов. Нельзя сказать, что все сообщества монолитны. Даже внутри физиков существуют псевдонаучные течения, а среди гороскопистов и экономистов есть люди, честно пытающие предсказать будущее, хоть у них это и не получается сделать.
Не существует идеальной формулы, мой пост - всего лишь попытка обрисовать фреймворк, помогающий строить работающую картину мира. Когда вы видите человека, обвесившегося регалиями, спросите себя (или его) - а кто валидировал тот факт, что ты не осёл? Если ответ - другие такие же эксперты, то можно смело придавать ему вес анонима из интернета. Так вы избавите себя от информационного шума.
@knowledge_accumulator
Многим попадались нарезки с российского ТВ, когда доктор медицинских наук пересказывает байки с третьесортных сайтов. Если вас это хоть чуточку удивляет, то данный пост для вас.
Почти все мы занимаемся созданием продуктов интеллектуального труда. Этим является всё - от гороскопов в "Комсомольской правде" до фреймворка для нейросетей. Существует 2 вида валидации продукта - назовём их человеческий и проблемный.
Человеческий объединяет все валидации вида "Другой человек посмотрел и одобрил результат" - начиная от ревью научных статей и заканчивая проверкой домашки по ИЗО в школе. Проблемный - проверка вида "По-честному тестируем на задаче".
Проблемный способ валидации самый лучший. Только он позволяет надёжно установить, что решение работает. По сути, такую проверку можно описать как "контролируемое исследование" - от слепого тестирования лекарства против плацебо до проверки предсказания гороскопа.
Но вот беда - проблемный способ редко применим, и поэтому в большинстве сфер нашей жизни доминирует именно человеческая валидация. У неё есть одна маленькая проблема: она - говно. Давайте через эту призму взглянем на то, как работает "научное сообщество".
Начиная с бакалавриата, продвижение по научным званиям сопряжено с написанием сочинений - курсовые, дипломные работы, статьи и диссертации. Их проверяют люди с более высоким научным званием разными способами - пишут отзывы, рецензии, устраивают защиты. Всё это - человеческая валидация.
Достаточно легко предсказать, что происходит с системами, построенными только на человеческой валидации. Даже будучи созданной гениями, со временем в неё проникает всё больше людей, которые плохо валидируют результаты - им либо лень, либо пофиг, либо они максимизируют свою личную выгоду внутри системы. Чем эта система больше, тем больше она подчинена процессам, а их легко абьюзить.
К счастью, в таких системах можно бороться со скатыванием. Для этого необходимо внедрять проблемные методы валидации продуктов труда. Они позволяют не только продвигать внутри системы реально полезных людей, но и валидировать систему снаружи.
Я придерживаюсь такого правила - если у человеческой системы нет обширной проблемной валидации, то, скорее всего, ей не нужно доверять. Рассмотрим на примерах.
Почему я знаю, что сообщество инженеров или врачей - в целом норм? Они производят продукты, регулярно тестируемые практикой. Лекарства по-честному тестируют и они реально улучшают жизнь, а ракеты и спутники летают и не падают. Чем ближе конкретный эксперт к созданию этого решения, тем больше он заслуживает доверия. Но вдали от таких проверок, даже внутри сообщества будет доминировать скам. Отсюда и берутся те самые докторы на российском ТВ.
К сожалению, подавляющее большинство человеческих систем вообще не базируются на проверках реальностью, и весь их пафос и регалии базируются только на том, что эксперты экспертно оценивают других экспертов. Часто, когда продукт таких областей подвергают честной проверке, ничего не работает, и тогда эксперты возвращаются в своё комфортное логово.
В качестве примеров могу привести альтернативных медиков, психологов, экстрасенсов, гороскопистов, экономистов. Нельзя сказать, что все сообщества монолитны. Даже внутри физиков существуют псевдонаучные течения, а среди гороскопистов и экономистов есть люди, честно пытающие предсказать будущее, хоть у них это и не получается сделать.
Не существует идеальной формулы, мой пост - всего лишь попытка обрисовать фреймворк, помогающий строить работающую картину мира. Когда вы видите человека, обвесившегося регалиями, спросите себя (или его) - а кто валидировал тот факт, что ты не осёл? Если ответ - другие такие же эксперты, то можно смело придавать ему вес анонима из интернета. Так вы избавите себя от информационного шума.
@knowledge_accumulator
Combining Induction and Transduction for Abstract Reasoning [2024]
В прошлом посте про ARC я расссказал про решение, которая даёт 62% в комбинации с так называемым синтезатором программ. Сегодня мы поговорим о том, что это за зверь.
Авторы рассматривают 2 подхода к решению ARC:
1) Transduction - это когда у нас есть нейросеть, получающая на вход тренировочные пары вход-выход + тестовый вход и предсказывающая тестовый выход - такую модель мы как раз и видели в тот раз.
2) Induction - получая на вход тренировочные пары вход-выход, мы генерируем программу на питоне, превращающую вход в выход. Затем мы применяем её на тестовом входе
Итак, начнём с того, как авторы собирали датасет для Induction-модели.
Сначала авторы собирают вручную так называемый seed-датасет - это 100 ARC-задач, для которых вручную написаны программы на питоне, а также текстовые описания этих задач. Далее GPT-4 просят наплодить большой датасет синтетических задач, рекомбинируя описания и код изначальных ста.
На таких данных можно делать нечто похожее на обучение задачкам по программированию: дообучаем LLM по задаче гененировать питон код, а во время инференса генерируем много программ-кандидатов, которые потом можно фильтровать, проверяя на тренировочных парах.
Интересный сюжетный поворот - задачи, которые решают Transduction и Induction-модели, даже если их учить на одних и тех же сетах задач, пересекаются далеко не полностью. В самом топовом запуске Induction набирает 38%, Transduction 43%. а их ансамбль аж 57%. Авторы проверили, что это не результат случайной инициализации.
Ансамблировать их, кстати, можно и вслепую - если Induction-модель не сгененировала ни одну программу, которая подходит под тренировочные примеры, мы в качестве решения выдаём Transduction-кандидата.
Интересно понять - откуда берётся такое отличие в решаемых задачах у 2 подходов, даже если их учат на одном и том же? Немножко пролить на это свет помогает Ablation на задачах из ConceptARC - упрощённом датасете, в котором применяется одна "абстрактная концепция".
Например, программный синтезатор сильно лучше справляется с извлечением объектов и подсчётом, тогда как трансдуктор лучше в раскрасках и чём-то подобном. Примеры задач, приведённые автором, я прикрепил к посту.
Статья интересная, правда, есть те же опасения по поводу утечки задач через эту самую синтетику. Маленькая версия их модели, которую они засабмитили в настоящий тест, дала 18% через Transduction и только 4% через Induction (ансамбль дал 19%, SOTA = 55.5%) - это может говорить о том, что базовые операции сильно отличаются у скрытого теста и так просто справиться с ним не выйдет. Будем следить за развитием событий.
@knowledge_accumulator
В прошлом посте про ARC я расссказал про решение, которая даёт 62% в комбинации с так называемым синтезатором программ. Сегодня мы поговорим о том, что это за зверь.
Авторы рассматривают 2 подхода к решению ARC:
1) Transduction - это когда у нас есть нейросеть, получающая на вход тренировочные пары вход-выход + тестовый вход и предсказывающая тестовый выход - такую модель мы как раз и видели в тот раз.
2) Induction - получая на вход тренировочные пары вход-выход, мы генерируем программу на питоне, превращающую вход в выход. Затем мы применяем её на тестовом входе
Итак, начнём с того, как авторы собирали датасет для Induction-модели.
Сначала авторы собирают вручную так называемый seed-датасет - это 100 ARC-задач, для которых вручную написаны программы на питоне, а также текстовые описания этих задач. Далее GPT-4 просят наплодить большой датасет синтетических задач, рекомбинируя описания и код изначальных ста.
На таких данных можно делать нечто похожее на обучение задачкам по программированию: дообучаем LLM по задаче гененировать питон код, а во время инференса генерируем много программ-кандидатов, которые потом можно фильтровать, проверяя на тренировочных парах.
Интересный сюжетный поворот - задачи, которые решают Transduction и Induction-модели, даже если их учить на одних и тех же сетах задач, пересекаются далеко не полностью. В самом топовом запуске Induction набирает 38%, Transduction 43%. а их ансамбль аж 57%. Авторы проверили, что это не результат случайной инициализации.
Ансамблировать их, кстати, можно и вслепую - если Induction-модель не сгененировала ни одну программу, которая подходит под тренировочные примеры, мы в качестве решения выдаём Transduction-кандидата.
Интересно понять - откуда берётся такое отличие в решаемых задачах у 2 подходов, даже если их учат на одном и том же? Немножко пролить на это свет помогает Ablation на задачах из ConceptARC - упрощённом датасете, в котором применяется одна "абстрактная концепция".
Например, программный синтезатор сильно лучше справляется с извлечением объектов и подсчётом, тогда как трансдуктор лучше в раскрасках и чём-то подобном. Примеры задач, приведённые автором, я прикрепил к посту.
Статья интересная, правда, есть те же опасения по поводу утечки задач через эту самую синтетику. Маленькая версия их модели, которую они засабмитили в настоящий тест, дала 18% через Transduction и только 4% через Induction (ансамбль дал 19%, SOTA = 55.5%) - это может говорить о том, что базовые операции сильно отличаются у скрытого теста и так просто справиться с ним не выйдет. Будем следить за развитием событий.
@knowledge_accumulator
Почему с экономическим ростом не всё так просто
Все мы знаем, что ВВП - суммарная произведённая стоимость товаров и услуг в стране - мера, используемая для оценки размера экономики страны. ВВП в выбранный момент времени позволяет удобно сравнить экономики. Например, в 2023 году ВВП США - 27 триллионов, Китая - 18, России - 2. Вроде бы понятно.
Но мы так же часто слышим понятие "Рост ВВП" и кажется, что он отображает увеличение суммарной стоимости товаров, а значит, если ВВП растёт, тем более, с поправкой на инфляцию, то все мы становимся богаче. Но всё не настолько просто. Давайте разберёмся, почему.
У ВВП существует несколько эквивалентных величин - например, суммарный доход всех экономических агентов в стране тоже равен ВВП. Среди его близнецов есть один с особенностями развития - а именно, ВВП равен Money Supply x Money Velocity.
Money Supply - количество денег в экономике
Money Velocity - скорость обращения денег - грубо говоря, сколько раз в среднем карманов сменил каждый доллар.
На этом месте у вас могут возникнуть подозрения. Money Supply - величина, совершенно нерелевантная крутости экономики. Денег можно сделать в 100 раз меньше или в 2 раза больше, через какое-то время цены изменятся аналогично.
Что же Money Velocity? По сути это отражение количества транзакций в экономике. Да, есть какая-то корреляция между экономический активностью и скоростью, между сложностью экономики и скоростью, но сравнивать экономики тупо по скорости - идея сомнительная. Вот график для США: https://fred.stlouisfed.org/series/M2V.
Таким образом, получается, что ВВП в стране равен произведению 2 величин, практически не связанных с реальным благосостоянием. Приехали. Для корректировки этого недоразумения и используют инфляцию - изменение стоимости потребительской корзины. По сути, все рассматривают отношение инфляции к росту ВВП как показатель роста благосостояния.
Но и тут проблема - корзина и товары сами по себе меняются со временем. Сколько стоил бы айфон в 2004 году? Мы не начинаем производит те же самые товары дешевле и эффективнее, всё меняется неизмеримым образом. А как тогда нам численно понять, у нас золотой век или раньше было лучше?
Да никак, более того, ответа не существует. С одной стороны, произошла информационная революция - компьютеры, смартфоны и интернет, с другой, реальная стоимость недвижимости довольно сильно растёт, а колбаса по 2.20 уже не такая вкусная.
Интересны аномалии - что, если товар остаётся примерно таким же в течение времени, а его цена растёт, как, например. с домами? Возможна ли ситуация на рынке, при которой товар подорожал в несколько раз, а производители не отреагировали увеличением спроса?
Конечно, если в дело вступило любимое государство, регулирующее строительные компании и вводящее разного рода ограничения. Но это уже другая история.
@knowledge_accumulator
Все мы знаем, что ВВП - суммарная произведённая стоимость товаров и услуг в стране - мера, используемая для оценки размера экономики страны. ВВП в выбранный момент времени позволяет удобно сравнить экономики. Например, в 2023 году ВВП США - 27 триллионов, Китая - 18, России - 2. Вроде бы понятно.
Но мы так же часто слышим понятие "Рост ВВП" и кажется, что он отображает увеличение суммарной стоимости товаров, а значит, если ВВП растёт, тем более, с поправкой на инфляцию, то все мы становимся богаче. Но всё не настолько просто. Давайте разберёмся, почему.
У ВВП существует несколько эквивалентных величин - например, суммарный доход всех экономических агентов в стране тоже равен ВВП. Среди его близнецов есть один с особенностями развития - а именно, ВВП равен Money Supply x Money Velocity.
Money Supply - количество денег в экономике
Money Velocity - скорость обращения денег - грубо говоря, сколько раз в среднем карманов сменил каждый доллар.
На этом месте у вас могут возникнуть подозрения. Money Supply - величина, совершенно нерелевантная крутости экономики. Денег можно сделать в 100 раз меньше или в 2 раза больше, через какое-то время цены изменятся аналогично.
Что же Money Velocity? По сути это отражение количества транзакций в экономике. Да, есть какая-то корреляция между экономический активностью и скоростью, между сложностью экономики и скоростью, но сравнивать экономики тупо по скорости - идея сомнительная. Вот график для США: https://fred.stlouisfed.org/series/M2V.
Таким образом, получается, что ВВП в стране равен произведению 2 величин, практически не связанных с реальным благосостоянием. Приехали. Для корректировки этого недоразумения и используют инфляцию - изменение стоимости потребительской корзины. По сути, все рассматривают отношение инфляции к росту ВВП как показатель роста благосостояния.
Но и тут проблема - корзина и товары сами по себе меняются со временем. Сколько стоил бы айфон в 2004 году? Мы не начинаем производит те же самые товары дешевле и эффективнее, всё меняется неизмеримым образом. А как тогда нам численно понять, у нас золотой век или раньше было лучше?
Да никак, более того, ответа не существует. С одной стороны, произошла информационная революция - компьютеры, смартфоны и интернет, с другой, реальная стоимость недвижимости довольно сильно растёт, а колбаса по 2.20 уже не такая вкусная.
Интересны аномалии - что, если товар остаётся примерно таким же в течение времени, а его цена растёт, как, например. с домами? Возможна ли ситуация на рынке, при которой товар подорожал в несколько раз, а производители не отреагировали увеличением спроса?
Конечно, если в дело вступило любимое государство, регулирующее строительные компании и вводящее разного рода ограничения. Но это уже другая история.
@knowledge_accumulator
Выбираем самый херовый план по достижению AGI
Существуют разные подходы к исследованиям. Кто-то пытается описать долгосрочный план заранее и потом следовать ему, а кто-то принципиально от этого отказывается, аргументируя невозможностью предсказывать ход работы заранее.
Лично я считаю, что хоть какое-то глобальное видение необходимо, поскольку оно позволяет не заниматься локальной оптимизацией ненужного говна. Я видел бесчисленное количество статей, которых могло бы не существовать, если бы авторы спросили себя - "а вот это всё вообще хоть кому-то реально понадобится?".
Но на другой стороне спектра тоже весело. Когда составить план по достижению AGI поручают топ-менеджеру или SMM-щику биг-тех компании, получается примерно следующее:
- Этап 1: слабый AI - работает так себе
- Этап 2: средний AI - работает неплохо, но не особо круто
====== Мы сейчас здесь========
- Этап 3: крутой AI - работает чётко и качественно
- Этап 4: охуенный AI - переворачивает мир
Положим такой план за точку отсчёта. Как по отношению к ней смотрятся реально существующие? Ныряем в мусор.
Статья от Deepmind - Levels of AGI: Operationalizing Progress on the Path to AGI. Это не декларируется, как план, скорее, просто классификация уровней AGI. По одной оси там "крутизна" - перцентиль людей, а по другой - "Generality", причём всего 2 значения - Narrow и General. В столбце General на уровне крутости "кое-как" они поставили ChatGPT, все последующие столбцы в General пока пустуют.
У OpenAI тоже всё на уровне. Вот тут пересказываются (как я понял, неоткрытый) план из 5 уровней AGI - Chatbots (AI with conversational language), Reasoners (human-level problem solving), Agents (systems that can take actions), Innovators (AI that can aid in invention), Organizations (AI that can do the work of an organization). План, конечно, потрясающий, очень похож на мой выше, но на первое место поставить не могу, поскольку есть вероятность, что внутри OpenAI есть документ с нормальным описанием этих уровней, ведь в OpenAI серьёзные учёные работают, так ведь?
Вот тут есть отрывок интервью Миры Мурати, где она говорит, что GPT-3 это toddler, GPT-4 это high schooler, а следующая модель будет уже PhD level. А помните, был ещё Situational Awareness? Там план отличается - в ней GPT-2 preschooler, а GPT-3 это Elementary Schooler. Возможно, на почве этого расхождения и возник политический кризис и массовый уход людей из OpenAI.
Двигаемся дальше. А вы знаете какой-нибудь план, хотя бы немного напоминающий что-то адекватное?
На ум приходит отрывок из JEPA, но там нет уровней и таймлайна - ЛеКун обрисовывает видение полного AGI и делает вывод о том, какие части понятны, а какие совсем ещё нет. Проблема такого подхода в том, что по нему нельзя построить какой-либо роудмап будущих шагов.
Где с шагами проблем нет, так это в The Alberta Plan - работа от Ричарда Саттона, где описывается цепочка из 12 шагов улучшения модели, которые в итоге как бы должны привести к AGI. Тут можно посмотреть видеообзор этой работы. Это лучшее, из того, что я видел, но всё ещё очень далеко от того, под чем бы я подписался. Проблема не в деталях, а в подходе.
Статья концентрируется на прогрессивном улучшении методов - и это то, в чём у меня с ней корневое расхождение. Когда говорят о том, что планировать ресёрч надолго нельзя, говорят именно об этом - хер его знает, будет ли в принципе твоя схема работать после этих изменений. Сами шаги местами довольно расплывчатые, в то время как прыжки между ними тоже не всегда понятны, особенно, ближе к концу. Так что, тоже дизлайк.
Присылайте свои любимые AGI-роудмапы в комментарии, а в следующий раз я расскажу, как бы выглядел мой "AGI-план", если бы я набрался наглости его написать.
@knowledge_accumulator
Существуют разные подходы к исследованиям. Кто-то пытается описать долгосрочный план заранее и потом следовать ему, а кто-то принципиально от этого отказывается, аргументируя невозможностью предсказывать ход работы заранее.
Лично я считаю, что хоть какое-то глобальное видение необходимо, поскольку оно позволяет не заниматься локальной оптимизацией ненужного говна. Я видел бесчисленное количество статей, которых могло бы не существовать, если бы авторы спросили себя - "а вот это всё вообще хоть кому-то реально понадобится?".
Но на другой стороне спектра тоже весело. Когда составить план по достижению AGI поручают топ-менеджеру или SMM-щику биг-тех компании, получается примерно следующее:
- Этап 1: слабый AI - работает так себе
- Этап 2: средний AI - работает неплохо, но не особо круто
====== Мы сейчас здесь========
- Этап 3: крутой AI - работает чётко и качественно
- Этап 4: охуенный AI - переворачивает мир
Положим такой план за точку отсчёта. Как по отношению к ней смотрятся реально существующие? Ныряем в мусор.
Статья от Deepmind - Levels of AGI: Operationalizing Progress on the Path to AGI. Это не декларируется, как план, скорее, просто классификация уровней AGI. По одной оси там "крутизна" - перцентиль людей, а по другой - "Generality", причём всего 2 значения - Narrow и General. В столбце General на уровне крутости "кое-как" они поставили ChatGPT, все последующие столбцы в General пока пустуют.
У OpenAI тоже всё на уровне. Вот тут пересказываются (как я понял, неоткрытый) план из 5 уровней AGI - Chatbots (AI with conversational language), Reasoners (human-level problem solving), Agents (systems that can take actions), Innovators (AI that can aid in invention), Organizations (AI that can do the work of an organization). План, конечно, потрясающий, очень похож на мой выше, но на первое место поставить не могу, поскольку есть вероятность, что внутри OpenAI есть документ с нормальным описанием этих уровней, ведь в OpenAI серьёзные учёные работают, так ведь?
Вот тут есть отрывок интервью Миры Мурати, где она говорит, что GPT-3 это toddler, GPT-4 это high schooler, а следующая модель будет уже PhD level. А помните, был ещё Situational Awareness? Там план отличается - в ней GPT-2 preschooler, а GPT-3 это Elementary Schooler. Возможно, на почве этого расхождения и возник политический кризис и массовый уход людей из OpenAI.
Двигаемся дальше. А вы знаете какой-нибудь план, хотя бы немного напоминающий что-то адекватное?
На ум приходит отрывок из JEPA, но там нет уровней и таймлайна - ЛеКун обрисовывает видение полного AGI и делает вывод о том, какие части понятны, а какие совсем ещё нет. Проблема такого подхода в том, что по нему нельзя построить какой-либо роудмап будущих шагов.
Где с шагами проблем нет, так это в The Alberta Plan - работа от Ричарда Саттона, где описывается цепочка из 12 шагов улучшения модели, которые в итоге как бы должны привести к AGI. Тут можно посмотреть видеообзор этой работы. Это лучшее, из того, что я видел, но всё ещё очень далеко от того, под чем бы я подписался. Проблема не в деталях, а в подходе.
Статья концентрируется на прогрессивном улучшении методов - и это то, в чём у меня с ней корневое расхождение. Когда говорят о том, что планировать ресёрч надолго нельзя, говорят именно об этом - хер его знает, будет ли в принципе твоя схема работать после этих изменений. Сами шаги местами довольно расплывчатые, в то время как прыжки между ними тоже не всегда понятны, особенно, ближе к концу. Так что, тоже дизлайк.
Присылайте свои любимые AGI-роудмапы в комментарии, а в следующий раз я расскажу, как бы выглядел мой "AGI-план", если бы я набрался наглости его написать.
@knowledge_accumulator
Кринж-пост
Сегодня я хотел бы поговорить об очень деликатной для многих из нас теме - о кринжовых моментах.
У многих из нас были такие ситуации, когда мы что-то сказали или сделали, допустили ошибку, а потом нам за это стыдно. В экстремальных случаях это может стать катастрофой для человека, особенно, если что-то произошло публично. Иногда это проблема собственного восприятия, но если вы случайно отправили своё домашнее порно в чат со всеми родственниками, а потом в панике удалили его у себя, то...
Когда я только начал учиться в универе, мои социальные навыки были сильно плохи (они и сейчас не огонь). Нередко я говорил какие-нибудь глупости другим людям. Кроме того, так как уже в 18 я начал работать в ML, эти неловкие моменты создавались и между мной и моими коллегами/руководителями.
К счастью, на моём счету нет каких-то совсем уж катастрофических позоров, испортивших мою карьеру. Однако, к сожалению, многие из этих моментов до сих пор живут в моей голове.
В интернете успокаивают - "Да не беспокойтесь! А вот вы-то помните кринжовые моменты других людей?". Проблемы тут две - во-первых, "Конечно, не помните, потому что кроме вас так никто не позорился". А во-вторых, вообще-то, я помню некоторый чужой кринж.
И у меня нет каких-то отрицательных эмоций на этот счёт по отношению к другим. У каждого человека бывают моменты, когда он затупил, ему было плохо, не выспался, и он сказал какую-то глупость. Я легко прощаю такое другим людям. Но поступают ли так же все остальные?
У меня не получается до конца отпустить все свои кринжовые поступки. Иногда вживую можно увидеть, как я внезапно делаю такое выражение лица, как будто сел на кол. Но это не неврологическое заболевание - это я вспомнил момент из прошлого, за который до сих пор стыдно.
Всё усугубляется тем, что мы не можем подойти к другому человеку и спросить - "скажи, пожалуйста, а ты уже забыл, как я ...?" Возможно, ситуации бы помог специальный праздник, скажем, Кринжовое воскресенье, когда мы все, не вспоминая конкретные случаи, прощали всех остальных за их кринж. Проблема, правда, в том, что это скорее всего уменьшит долю забытого кринжа, а это - ключевой момент.
Несмотря на всё это, я всё-таки веду публичный телеграм-канал - где, как ни здесь, генерировать моменты, за которые потом будет стыдно. Однако, тут у меня подход противоположный - публично высказанное ошибочное мнение и последующее высмеивание в комментариях - именно то, что позволяет развиваться и менять своё мнение в правильную сторону.
Расскажите в комментариях свои истории из жизни, за которые вам очень стыдно, и которые вы хотите, чтобы все забыли. Давайте попробуем простить друг друга. Но сначала над вами поржём.
@knowledge_accumulator
Сегодня я хотел бы поговорить об очень деликатной для многих из нас теме - о кринжовых моментах.
У многих из нас были такие ситуации, когда мы что-то сказали или сделали, допустили ошибку, а потом нам за это стыдно. В экстремальных случаях это может стать катастрофой для человека, особенно, если что-то произошло публично. Иногда это проблема собственного восприятия, но если вы случайно отправили своё домашнее порно в чат со всеми родственниками, а потом в панике удалили его у себя, то...
Когда я только начал учиться в универе, мои социальные навыки были сильно плохи (они и сейчас не огонь). Нередко я говорил какие-нибудь глупости другим людям. Кроме того, так как уже в 18 я начал работать в ML, эти неловкие моменты создавались и между мной и моими коллегами/руководителями.
К счастью, на моём счету нет каких-то совсем уж катастрофических позоров, испортивших мою карьеру. Однако, к сожалению, многие из этих моментов до сих пор живут в моей голове.
В интернете успокаивают - "Да не беспокойтесь! А вот вы-то помните кринжовые моменты других людей?". Проблемы тут две - во-первых, "Конечно, не помните, потому что кроме вас так никто не позорился". А во-вторых, вообще-то, я помню некоторый чужой кринж.
И у меня нет каких-то отрицательных эмоций на этот счёт по отношению к другим. У каждого человека бывают моменты, когда он затупил, ему было плохо, не выспался, и он сказал какую-то глупость. Я легко прощаю такое другим людям. Но поступают ли так же все остальные?
У меня не получается до конца отпустить все свои кринжовые поступки. Иногда вживую можно увидеть, как я внезапно делаю такое выражение лица, как будто сел на кол. Но это не неврологическое заболевание - это я вспомнил момент из прошлого, за который до сих пор стыдно.
Всё усугубляется тем, что мы не можем подойти к другому человеку и спросить - "скажи, пожалуйста, а ты уже забыл, как я ...?" Возможно, ситуации бы помог специальный праздник, скажем, Кринжовое воскресенье, когда мы все, не вспоминая конкретные случаи, прощали всех остальных за их кринж. Проблема, правда, в том, что это скорее всего уменьшит долю забытого кринжа, а это - ключевой момент.
Несмотря на всё это, я всё-таки веду публичный телеграм-канал - где, как ни здесь, генерировать моменты, за которые потом будет стыдно. Однако, тут у меня подход противоположный - публично высказанное ошибочное мнение и последующее высмеивание в комментариях - именно то, что позволяет развиваться и менять своё мнение в правильную сторону.
Расскажите в комментариях свои истории из жизни, за которые вам очень стыдно, и которые вы хотите, чтобы все забыли. Давайте попробуем простить друг друга. Но сначала над вами поржём.
@knowledge_accumulator
Провёл неделю в Долине
Не знаю, заметили ли вы моё отсутствие на этой неделе, у него была причина - я съездил в командировку в главный инженерный офис X в Palo Alto.
Это моя первая поездка в США, и моей картине мира предстояло пройти серьёзный реалити-чек. Итак, что могу сказать по этому поводу:
Про бомжей - всё правда.
В некоторых местах Сан-Франциско тотальный пиздец, в некоторых более-менее, но их все равно в целом много, даже в Долине. В отличие от лондонских коллег, которые сидят на своих картонках с 9 до 6 и разводят лохов на подачки, эти дышат воздухом свободы и частенько мешают окружающим. Вся эта катастрофа, конечно же, сотворена местными властями и постоянно ими поддерживается. Про это поговорим подробно в другой раз.
Про еду - ожидал худшего.
Да, в Wallmart действительно продают канистры газировок, арахисовой пасты и полукилограммовые мешки чипсов. Количество говна зашкаливает, как я и ожидал. Но, очевидно, его можно просто не покупать. Что приятно удивило, так это наличие нормальной еды в соседних магазинах типа Whole Foods и Safeway, причём, неплохая готовая еда тоже есть.
Про машины - терпимо
Я не заглядывал в street view, поэтому был удивлён наличию нормальных тротуаров в Долине. Расстояния большие, светофоры предпочитают машины, поэтому ходить долго, но очень даже комфортно. В Долине безумно много зелени и красивых мест, так что, гулять пешком тут есть где. Конечно, тут оптимально ездить на машине, но мы с женой не против такого образа жизни.
Что касается самой командировки, то я доволен. Сразу скажу - Маска один раз видел в столовке, но на очной встрече не был.
Офис в Palo Alto ощущается совсем по-другому. Чувствуется нахождение в центре событий, ну и связь между мной и коллегами становится чуть менее сухой и формальной.
Планирую релоцироваться по L1, как стукнет год, ну и потом можно будет поменять визу на другую, а пока что продолжу работать из Лондона.
В следующие 2 недели у меня тур по США, посмотрим, как оно в других местах. Про местные приколы обязательно расскажу.
@knowledge_accumulator
Не знаю, заметили ли вы моё отсутствие на этой неделе, у него была причина - я съездил в командировку в главный инженерный офис X в Palo Alto.
Это моя первая поездка в США, и моей картине мира предстояло пройти серьёзный реалити-чек. Итак, что могу сказать по этому поводу:
Про бомжей - всё правда.
В некоторых местах Сан-Франциско тотальный пиздец, в некоторых более-менее, но их все равно в целом много, даже в Долине. В отличие от лондонских коллег, которые сидят на своих картонках с 9 до 6 и разводят лохов на подачки, эти дышат воздухом свободы и частенько мешают окружающим. Вся эта катастрофа, конечно же, сотворена местными властями и постоянно ими поддерживается. Про это поговорим подробно в другой раз.
Про еду - ожидал худшего.
Да, в Wallmart действительно продают канистры газировок, арахисовой пасты и полукилограммовые мешки чипсов. Количество говна зашкаливает, как я и ожидал. Но, очевидно, его можно просто не покупать. Что приятно удивило, так это наличие нормальной еды в соседних магазинах типа Whole Foods и Safeway, причём, неплохая готовая еда тоже есть.
Про машины - терпимо
Я не заглядывал в street view, поэтому был удивлён наличию нормальных тротуаров в Долине. Расстояния большие, светофоры предпочитают машины, поэтому ходить долго, но очень даже комфортно. В Долине безумно много зелени и красивых мест, так что, гулять пешком тут есть где. Конечно, тут оптимально ездить на машине, но мы с женой не против такого образа жизни.
Что касается самой командировки, то я доволен. Сразу скажу - Маска один раз видел в столовке, но на очной встрече не был.
Офис в Palo Alto ощущается совсем по-другому. Чувствуется нахождение в центре событий, ну и связь между мной и коллегами становится чуть менее сухой и формальной.
Планирую релоцироваться по L1, как стукнет год, ну и потом можно будет поменять визу на другую, а пока что продолжу работать из Лондона.
В следующие 2 недели у меня тур по США, посмотрим, как оно в других местах. Про местные приколы обязательно расскажу.
@knowledge_accumulator
Heart Attack Grill - как рынок тестирует границы возможного
Америка - интересное место. Разнообразие и степень абсурда некоторых вещей удивляет, но про один такой случай я решил написать отдельный пост.
Мы были 2 дня в Лас-Вегасе - городе-карикатуре. В этом дисней-лэнде для взрослых есть многое - копия Эйфелевой башни, венецианских каналов, отель-казино в форме египетской пирамиды (конечно, со сфинксом), реклама проституток на грузовиках, ну и, конечно, 150-метровая полусфера-экран. Но мы были кое-где ещё.
Heart Attack Grill - заведение с интересной репутацией. Это своего рода больница, но лечат тут только одно - анорексию. Методика простая - продают максимально калорийную и вредную еду.
Здесь один вид бургеров, но можно выбрать от 1 до 8 этажей - последний содержит 20 тысяч калорий - в какое-то время держал мировой рекорд среди коммерчески доступных - при стоимости в 35 долларов.
Запить можно банкой колы (конечно, не zero), но также доступен шприц коктейля (который тебе впрыснут в рот) и капельница вина, с краником. Закуски и милкшейки в наличии. Чтобы не запачкаться всем этим счастьем, на входе тебе надевают медицинский фартук, ну а официантки ходят в обтягивающих медицинских "халатах".
Пока ты наслаждаешься едой и процедурами, можно почитать постеры о том, как круто получать удовольствие от жизни, объедаясь вкусной едой, ну или посмотреть видос на каком-нибудь из 30 экранов, на котором те же официантки соблазняются от вида 300-килограммового представителя заведения, поедающего их бургер (который УМЕР 12 лет назад в 29-летнем возрасте).
Кафе не просто зарабатывает, но и отдаёт обществу - люди, весящие больше 158кг, могут есть в нём бесплатно! Пройти проверку можно прямо в помещении, взвесившись публично на огромных весах.
Пациенты обязаны относиться к лечению со всей отдачей - поэтому, если вы не доедите, то вас отхерачат по жопе на выходе чем-то типа скалки. Мы старались и смогли этого избежать.
На ютубе полно видосов про это место, вот в этом есть ещё и интервью с владельцем - посмотрите, это снос крыши, все приколы у меня тупо не влезли в пост.
Я, как фанат свободного рынка, полностью одобряю данную концепцию. Добровольные способы себе навредить делают нас лучше. Самые глупые из нас должны иметь возможность есть в этом кафе каждый день бесплатно и потом от этого умереть - это двигает человечество вперёд.
Без этого кафе мир был бы менее весёлым местом, а сходить туда - это уникальный опыт. Оно является канарейкой в шахте - само его существование и работа демонстрирует, что рыночная экономика работает и в ней можно продавать всё (или хотя бы всё, что не запрещено). Его насильственное закрытие было бы ужасным знаком для общества, и мы должны внимательно следить за тем, что такие места имеют возможность работать.
God bless the U.S.A. 🦅🦅🦅🇺🇸🇺🇸🇺🇸
@knowledge_accumulator
Америка - интересное место. Разнообразие и степень абсурда некоторых вещей удивляет, но про один такой случай я решил написать отдельный пост.
Мы были 2 дня в Лас-Вегасе - городе-карикатуре. В этом дисней-лэнде для взрослых есть многое - копия Эйфелевой башни, венецианских каналов, отель-казино в форме египетской пирамиды (конечно, со сфинксом), реклама проституток на грузовиках, ну и, конечно, 150-метровая полусфера-экран. Но мы были кое-где ещё.
Heart Attack Grill - заведение с интересной репутацией. Это своего рода больница, но лечат тут только одно - анорексию. Методика простая - продают максимально калорийную и вредную еду.
Здесь один вид бургеров, но можно выбрать от 1 до 8 этажей - последний содержит 20 тысяч калорий - в какое-то время держал мировой рекорд среди коммерчески доступных - при стоимости в 35 долларов.
Запить можно банкой колы (конечно, не zero), но также доступен шприц коктейля (который тебе впрыснут в рот) и капельница вина, с краником. Закуски и милкшейки в наличии. Чтобы не запачкаться всем этим счастьем, на входе тебе надевают медицинский фартук, ну а официантки ходят в обтягивающих медицинских "халатах".
Пока ты наслаждаешься едой и процедурами, можно почитать постеры о том, как круто получать удовольствие от жизни, объедаясь вкусной едой, ну или посмотреть видос на каком-нибудь из 30 экранов, на котором те же официантки соблазняются от вида 300-килограммового представителя заведения, поедающего их бургер (который УМЕР 12 лет назад в 29-летнем возрасте).
Кафе не просто зарабатывает, но и отдаёт обществу - люди, весящие больше 158кг, могут есть в нём бесплатно! Пройти проверку можно прямо в помещении, взвесившись публично на огромных весах.
Пациенты обязаны относиться к лечению со всей отдачей - поэтому, если вы не доедите, то вас отхерачат по жопе на выходе чем-то типа скалки. Мы старались и смогли этого избежать.
На ютубе полно видосов про это место, вот в этом есть ещё и интервью с владельцем - посмотрите, это снос крыши, все приколы у меня тупо не влезли в пост.
Я, как фанат свободного рынка, полностью одобряю данную концепцию. Добровольные способы себе навредить делают нас лучше. Самые глупые из нас должны иметь возможность есть в этом кафе каждый день бесплатно и потом от этого умереть - это двигает человечество вперёд.
Без этого кафе мир был бы менее весёлым местом, а сходить туда - это уникальный опыт. Оно является канарейкой в шахте - само его существование и работа демонстрирует, что рыночная экономика работает и в ней можно продавать всё (или хотя бы всё, что не запрещено). Его насильственное закрытие было бы ужасным знаком для общества, и мы должны внимательно следить за тем, что такие места имеют возможность работать.
God bless the U.S.A. 🦅🦅🦅🇺🇸🇺🇸🇺🇸
@knowledge_accumulator
А как же должен выглядеть правильный "AGI-роудмап"?
Напомню неформальное определение интеллекта, которого сейчас придерживаюсь:
Интеллект - это мера эффективности использования данных для приобретения новых навыков.
Это характеристика алгоритма обучения. Я уверен, что мы используем очень плохие алгоритмы - как минимум потому, что они сконструированы людьми вручную. Также, как и когда-то создание признаков вручную, создание алгоритмов должно пасть под ударом мета-лёрнинга.
Для долгосрочного ресёрча необходим план, но не такой, какие я упоминал раньше. Это должен быть задаче-ориентированный план.
Каждый пункт в этом плане должен состоять из зафиксированных данных и тестовой задачи. Нам нужно начать с простейший постановки, в которой мы умеем обучать модель, превосходящую человека, и постепенно усложнять её следующими способами:
1) Уменьшение тренировочных данных для тестовой задачи
2) Увеличение разнообразия, количества, бесструктурности прочих данных
3) Усложнение тестовой задачи
Вариантов реализации может быть достаточно много, приведу набросок одной из возможных:
Уровень №0: Элементарный RL с нуля
Дано: 10к шагов взаимодействия со CartPole, далее тестируем
Уровень №1: RL с нуля
Дано: 100к шагов взаимодействия со Atari, далее тестируем
======= Текущие алгоритмы находятся здесь =========
Уровень №2: RL с помощью демонстраций
Дано: 100к траекторий игры среднего человека в Atari; 10к шагов взаимодействия с Atari, далее тестируем
Уровень №3: Сложный RL с помощью демонстраций
Дано: N траекторий игр людей в Starcraft; K часов игры против бота, далее тестируем
Уровень №4: Сложный RL с использованием кучи разных данных
Дано: википедия, форумы по starcraft, видео по starcraft; 1 час игры против бота, далее тестируем
Уровень №5: Сложный RL с самостоятельным поиском необходимых данных
Дано: википедия, доступ к чтению интернета на X часов; 1 час игры против бота, далее тестируем
Уровень №6: ASI
Дано: википедия, доступ к чтению интернета на X часов; Текстовый запрос с описанием того, какую задачу нужно решить; N часов на генерацию ответа, далее его проверяет система (данных для такой постановки пока нет).
Далее поступаем по вкусу.
К сожалению, в пост не влезут все примечания и оговорки по поводу этих уровней, если вам интересно, в чём мотивация того или иного пункта, готов обсудить в комментариях. Кроме того, это лишь набросок, и по мере продвижения по шагам детали могут меняться.
Я верю в то, что существует малоразмерная параметризация обучающего алгоритма, который, если обучать с помощью meta-learning, можно продвинуть по всем этим уровням, каждый раз добиваясь superhuman-level. И если весь мир будет занят прикручиванием human-level моделек, обученных подражать людям, к прикладным задачам, за создание сверхразума придётся взяться кому-то ещё.
@knowledge_accumulator
Напомню неформальное определение интеллекта, которого сейчас придерживаюсь:
Интеллект - это мера эффективности использования данных для приобретения новых навыков.
Это характеристика алгоритма обучения. Я уверен, что мы используем очень плохие алгоритмы - как минимум потому, что они сконструированы людьми вручную. Также, как и когда-то создание признаков вручную, создание алгоритмов должно пасть под ударом мета-лёрнинга.
Для долгосрочного ресёрча необходим план, но не такой, какие я упоминал раньше. Это должен быть задаче-ориентированный план.
Каждый пункт в этом плане должен состоять из зафиксированных данных и тестовой задачи. Нам нужно начать с простейший постановки, в которой мы умеем обучать модель, превосходящую человека, и постепенно усложнять её следующими способами:
1) Уменьшение тренировочных данных для тестовой задачи
2) Увеличение разнообразия, количества, бесструктурности прочих данных
3) Усложнение тестовой задачи
Вариантов реализации может быть достаточно много, приведу набросок одной из возможных:
Уровень №0: Элементарный RL с нуля
Дано: 10к шагов взаимодействия со CartPole, далее тестируем
Уровень №1: RL с нуля
Дано: 100к шагов взаимодействия со Atari, далее тестируем
======= Текущие алгоритмы находятся здесь =========
Уровень №2: RL с помощью демонстраций
Дано: 100к траекторий игры среднего человека в Atari; 10к шагов взаимодействия с Atari, далее тестируем
Уровень №3: Сложный RL с помощью демонстраций
Дано: N траекторий игр людей в Starcraft; K часов игры против бота, далее тестируем
Уровень №4: Сложный RL с использованием кучи разных данных
Дано: википедия, форумы по starcraft, видео по starcraft; 1 час игры против бота, далее тестируем
Уровень №5: Сложный RL с самостоятельным поиском необходимых данных
Дано: википедия, доступ к чтению интернета на X часов; 1 час игры против бота, далее тестируем
Уровень №6: ASI
Дано: википедия, доступ к чтению интернета на X часов; Текстовый запрос с описанием того, какую задачу нужно решить; N часов на генерацию ответа, далее его проверяет система (данных для такой постановки пока нет).
Далее поступаем по вкусу.
К сожалению, в пост не влезут все примечания и оговорки по поводу этих уровней, если вам интересно, в чём мотивация того или иного пункта, готов обсудить в комментариях. Кроме того, это лишь набросок, и по мере продвижения по шагам детали могут меняться.
Я верю в то, что существует малоразмерная параметризация обучающего алгоритма, который, если обучать с помощью meta-learning, можно продвинуть по всем этим уровням, каждый раз добиваясь superhuman-level. И если весь мир будет занят прикручиванием human-level моделек, обученных подражать людям, к прикладным задачам, за создание сверхразума придётся взяться кому-то ещё.
@knowledge_accumulator
О чём нам говорят результаты O3?
Пару недель назад были опубликованы первые эвалы новой флагманской модельки от OpenAI. Она совершила прорыв на semi-private eval в ARC и в нескольких других бенчмарках про код и математику, Какой вывод мы из этого можем сделать?
Я не знаю всех слухов и деталей, так что, поправьте в комментариях, если не прав. Сконцентируюсь на ARC, так как понимаю про него больше всего.
Прорыв при переходе от O1 к O3 произошёл от трёх изменений:
1) Увеличение ресурсов на Chain of Thought
2) Добавление тренировочных ARC-задач в обучение модели
3) Неизвестные нам изменения между моделями.
Отрывочные данные выглядят так, что ключ к успеху именно в первых двух пунктах.
В RLHF (я её не очень давно разбирал) существует 2 компоненты, отвечающие за её качество. Первая - это Reward Model (RM) - "оценщик" текста, который смотрит на него и предсказывает, несколько он "хорош". Задача оценки сильно проще задачи генерации, и такую модель обучают на больших объёмах человеческой разметки из разных источников.
Итоговая RM является потолком того, что может достичь языковой генератор, поскольку всё, что делают при его обучении - это максимизируют фидбек от RM. При этом, можно предполагать, что сам генератор умеет полностью эмулировать RM при применении к уже сгенерированному ответу.
Что делает Chain of Thought? Грубо говоря, модель генерирует рассуждение и множество вариантов ответов на запрос, а затем сама же выбирает из них финальный. Если бы RLHF работал хорошо и генератор умел генерировать текст, который ему же самому понравится в конце (т.е. и RM), то CoT бы ничего особо не давал.
Таким образом, если увеличение затрат с 20 долларов до 2000 на запрос серьёзно увеличивает профит (как в O3), то у меня для вас плохая новость - RL и тут работает, как обычно.
Тем не менее, не вижу ничего страшного. Для меня важной является принципиальная способность решить задачу, а не потраченный компьют. Если сегодня задачу можно решить за 2к долларов, значит, через 10 лет такой же алгоритм решит её за 100.
Когда тренировочные задачи из ARC добавили в обучающий датасет для O3, то задача для RM сильно упростилась. Бенчмарк вместо вопроса "Умеет ли модель решать принципиально новые задачи?" начинает задавать "Умеет ли модель решать новые задачи, похожие на обучающую выборку?". То, что O3 стала настолько лучше после добавления задач в тренировочный датасет, говорит о двух вещах:
1) Если добавлять принципиально новые задачи в тренировочный датасет, то модель как-то сможет обобщать их решения - это хороший знак
2) Если похожих задач в данных вообще нет, то модель будет работать гораздо хуже - это плохая новость для тех, кто хочет, чтобы модель с 1 пинка решала новую уникальные задачи, тем более, такие, которые в принципе не решены человеком.
Что касается использования на практике, то вряд ли я буду трогать O3 - сомневаюсь в том, что она выдаст что-то настолько интересное, за что можно заплатить 10+ долларов за ответ. Даже O1 с его 1 долларом за ответ мне было жалко дёргать, и я не смог вымолить у неё один нестандартный кусок кода за вечер. С бытовыми задачами генерации текста справлялась даже GPT-4, а писать код на работе помогает Copilot, который на основе O3 будет думать непозволительно долго. Посмотрим, как оно будет выглядеть после релиза.
@knowledge_accumulator
Пару недель назад были опубликованы первые эвалы новой флагманской модельки от OpenAI. Она совершила прорыв на semi-private eval в ARC и в нескольких других бенчмарках про код и математику, Какой вывод мы из этого можем сделать?
Я не знаю всех слухов и деталей, так что, поправьте в комментариях, если не прав. Сконцентируюсь на ARC, так как понимаю про него больше всего.
Прорыв при переходе от O1 к O3 произошёл от трёх изменений:
1) Увеличение ресурсов на Chain of Thought
2) Добавление тренировочных ARC-задач в обучение модели
3) Неизвестные нам изменения между моделями.
Отрывочные данные выглядят так, что ключ к успеху именно в первых двух пунктах.
В RLHF (я её не очень давно разбирал) существует 2 компоненты, отвечающие за её качество. Первая - это Reward Model (RM) - "оценщик" текста, который смотрит на него и предсказывает, несколько он "хорош". Задача оценки сильно проще задачи генерации, и такую модель обучают на больших объёмах человеческой разметки из разных источников.
Итоговая RM является потолком того, что может достичь языковой генератор, поскольку всё, что делают при его обучении - это максимизируют фидбек от RM. При этом, можно предполагать, что сам генератор умеет полностью эмулировать RM при применении к уже сгенерированному ответу.
Что делает Chain of Thought? Грубо говоря, модель генерирует рассуждение и множество вариантов ответов на запрос, а затем сама же выбирает из них финальный. Если бы RLHF работал хорошо и генератор умел генерировать текст, который ему же самому понравится в конце (т.е. и RM), то CoT бы ничего особо не давал.
Таким образом, если увеличение затрат с 20 долларов до 2000 на запрос серьёзно увеличивает профит (как в O3), то у меня для вас плохая новость - RL и тут работает, как обычно.
Тем не менее, не вижу ничего страшного. Для меня важной является принципиальная способность решить задачу, а не потраченный компьют. Если сегодня задачу можно решить за 2к долларов, значит, через 10 лет такой же алгоритм решит её за 100.
Когда тренировочные задачи из ARC добавили в обучающий датасет для O3, то задача для RM сильно упростилась. Бенчмарк вместо вопроса "Умеет ли модель решать принципиально новые задачи?" начинает задавать "Умеет ли модель решать новые задачи, похожие на обучающую выборку?". То, что O3 стала настолько лучше после добавления задач в тренировочный датасет, говорит о двух вещах:
1) Если добавлять принципиально новые задачи в тренировочный датасет, то модель как-то сможет обобщать их решения - это хороший знак
2) Если похожих задач в данных вообще нет, то модель будет работать гораздо хуже - это плохая новость для тех, кто хочет, чтобы модель с 1 пинка решала новую уникальные задачи, тем более, такие, которые в принципе не решены человеком.
Что касается использования на практике, то вряд ли я буду трогать O3 - сомневаюсь в том, что она выдаст что-то настолько интересное, за что можно заплатить 10+ долларов за ответ. Даже O1 с его 1 долларом за ответ мне было жалко дёргать, и я не смог вымолить у неё один нестандартный кусок кода за вечер. С бытовыми задачами генерации текста справлялась даже GPT-4, а писать код на работе помогает Copilot, который на основе O3 будет думать непозволительно долго. Посмотрим, как оно будет выглядеть после релиза.
@knowledge_accumulator
Что могу сказать про новый год?
2022 и 2023 были нестабильными - приходилось принимать несколько стратегических решений, и все они себя оправдали, вылившись в мою жизнь в 2024.
Это был год новой рутины - жизнь в Лондоне, работа в X, ~10 зарубежных поездок, налаженный сон, спортзал, еда, ведение канала, изучение английских слов.
Раньше я никогда не ставил цели на год, поскольку их не было смысла привязывать к календарю - например, как в случае с поиском работы. Однако, сейчас я могу сформулировать то, к чему хочу прийти в 2025 году:
1) Добраться до США.
Скоро наступит год моей работы в компании, и откроется возможность получить L1, так что, надеюсь, получится перебраться в Долину в главный инженерный офис. В мае у меня истекает аренда в Лондоне, так что, может быть, удастся перед этим немного пожить (как турист) в Европе для разнообразия.
2) Начать делать кардио
Сейчас у меня 3 силовые тренировки в спортзале в неделю и на этом всё. Думаю, чем их надо разбавлять, пока что смотрю на Zwift - умный велотренажёр с возможностью виртуальных гонок по интернету. Так как меня хлебом не корми, лишь бы была гемификация, выглядит как то, что мне подойдёт. Хочу попасть в высокий процентиль по выносливости.
3) Освоить Starcraft 2
Соревновательные многопользовательские игры - это отличное испытание для мозга, в особенности, если это стратегия в реальном времени, в которой нужно делать больше сотни действий в минуту. Я нахожусь выше 50-го процентиля за терранов, ~35 за зергов и не умею играть за протосов. Цель - стать выше 50-й за всех, а также попробовать взять 50-ю за случайную расу - это уже совсем стресс-тест. С текущими темпами должен успеть за 2025. Сталкерить мой MMR можно тут.
4) Стать гонщиком
Следующим испытанием для моего мозга станет iRacing - многопользовательский симулятор гонок. Хочу раз и навсегда освоить этот жанр, а то как немужик, ей богу. Сейчас я вожу в играх в аркадном стиле - еду крайне агрессивно, в 99% попыток разбиваюсь, в одной выигрываю. Пора с этим заканчивать.
5) Съездить в Японию и/или Китай
Есть желание начать учить какой-то из двух языков и попробовать проникнуться восточной культурой, но для начала его нужно выбрать, а для этого хочется в эти страны съездить. С одной стороны, в Китае в 10 раз больше людей и более крупная экономика, с другой, Япония гораздо более свободная и открытая страна, и, кажется, более комфортная на бытовом уровне. Очень сложный выбор.
Вам желаю, чтобы все ваши планы и желания на 2025 исполнились. А если исполнятся и получится фигня, то сами виноваты. Спасибо, что всё ещё читаете!
С нг!🎄 🎄 🎄
2022 и 2023 были нестабильными - приходилось принимать несколько стратегических решений, и все они себя оправдали, вылившись в мою жизнь в 2024.
Это был год новой рутины - жизнь в Лондоне, работа в X, ~10 зарубежных поездок, налаженный сон, спортзал, еда, ведение канала, изучение английских слов.
Раньше я никогда не ставил цели на год, поскольку их не было смысла привязывать к календарю - например, как в случае с поиском работы. Однако, сейчас я могу сформулировать то, к чему хочу прийти в 2025 году:
1) Добраться до США.
Скоро наступит год моей работы в компании, и откроется возможность получить L1, так что, надеюсь, получится перебраться в Долину в главный инженерный офис. В мае у меня истекает аренда в Лондоне, так что, может быть, удастся перед этим немного пожить (как турист) в Европе для разнообразия.
2) Начать делать кардио
Сейчас у меня 3 силовые тренировки в спортзале в неделю и на этом всё. Думаю, чем их надо разбавлять, пока что смотрю на Zwift - умный велотренажёр с возможностью виртуальных гонок по интернету. Так как меня хлебом не корми, лишь бы была гемификация, выглядит как то, что мне подойдёт. Хочу попасть в высокий процентиль по выносливости.
3) Освоить Starcraft 2
Соревновательные многопользовательские игры - это отличное испытание для мозга, в особенности, если это стратегия в реальном времени, в которой нужно делать больше сотни действий в минуту. Я нахожусь выше 50-го процентиля за терранов, ~35 за зергов и не умею играть за протосов. Цель - стать выше 50-й за всех, а также попробовать взять 50-ю за случайную расу - это уже совсем стресс-тест. С текущими темпами должен успеть за 2025. Сталкерить мой MMR можно тут.
4) Стать гонщиком
Следующим испытанием для моего мозга станет iRacing - многопользовательский симулятор гонок. Хочу раз и навсегда освоить этот жанр, а то как немужик, ей богу. Сейчас я вожу в играх в аркадном стиле - еду крайне агрессивно, в 99% попыток разбиваюсь, в одной выигрываю. Пора с этим заканчивать.
5) Съездить в Японию и/или Китай
Есть желание начать учить какой-то из двух языков и попробовать проникнуться восточной культурой, но для начала его нужно выбрать, а для этого хочется в эти страны съездить. С одной стороны, в Китае в 10 раз больше людей и более крупная экономика, с другой, Япония гораздо более свободная и открытая страна, и, кажется, более комфортная на бытовом уровне. Очень сложный выбор.
Вам желаю, чтобы все ваши планы и желания на 2025 исполнились. А если исполнятся и получится фигня, то сами виноваты. Спасибо, что всё ещё читаете!
С нг!
Please open Telegram to view this post
VIEW IN TELEGRAM
Свобода быть бомжом
Раз уж я съездил в Штаты, надо разобрать одну из самых больших проблем местных городов - огромное количество бездомных на улицах. Как же так получилось, что в стране с крайне высоким средним доходом происходит такой кошмар?
Виноваты, как и обычно, доброта и глупость - страшнейшая комбинация человеческих пороков.
Есть один аспект реальности, который почему-то с большим трудом даётся людям. Заключается он в том, что деньги - это не просто ресурс, но и передача сигнала.
Когда в результате транзакции одна из сторон получила деньги, это посылает положительный сигнал подкрепления ей и обществу, таким образом мотивируя повторять за заработавшей стороной, чтобы повторить эффект. Если ваш хлеб стали покупать больше, чем до этого, вы увеличите производство, а также у вас появится больше конкурентов.
Когда бездомный на улице просит дать ему денег, у вас есть выбор - помочь и тем самым мотивировать его и всех его коллег продолжать просить деньги тем же образом, или проигнорировать, тем самым заставляя искать альтернативу. Это не самая хорошая, но и не самая плохая транзакция, которую можно совершить. Как её можно ухудшить?
Деньги можно тратить на разное - лечение, еду, наркотики. А можно ли стимулировать бездомных принимать наркотики? Разумеется. Так как занятие это опасное, можно помогать делать его менее рискованным - раздавать бесплатные шприцы, средства от передозировки. Всё это заботливо делает, к примеру, SF AIDS Foundation.
Ну а чтобы у бездомных наркоманов не было никакой мотивации менять свою жизнь, можно решать за них все бытовые вопросы - лечить, выдавать еду, одежду, телефон и т.д. Полный список того, как Сан-Франциско помогает бездомным, можно найти на их сайте. В итоге, образ жизни, который в России привёл бы к очень быстрой смерти, можно вести годами в самых либеральных городах Америки.
"Но как так, это же люди в трудном положении?" - скажете вы, и я понимаю ваше сострадание. Но просто давая ресурсы, вы цементируете их образ жизни, а не помогаете из него выбраться. А есть ли способ помочь тем, кто реально хочет это сделать?
Конечно, и для этого помощь должна быть обусловлена. К примеру, можно предоставлять всё необходимое для жизни при условии полного отказа / лечения от зависимостей, а также постепенного изменения образа жизни в сторону нормального человека - введение правильных привычек и в конечном счёте обучении работать. Подобная концепция уже существует и называется Работный дом, но сейчас такое не распространенно - раздавать наркоманам шприцы считается более морально приемлемым занятием.
Что касается свободы, то, как я уже писал в посте про политические координаты, свобода запрещать что-то на своей частной (или локальной) территории - такая же свобода, как и свобода что-то на ней делать. Позволить каждому городу вести самостоятельную политику в этом вопросе - лучший способ запустить конкуренцию подходов между городами.
В моей картине мира запрет вести маргинальный образ жизни на улице + наличие добровольных (т.е. с правом в любой момент уйти) частных (у государственных нет стимула фиксить человека) учреждений по реабилитации будут минимизировать количество бездомных в городе. У человека останется право быть бездомным наркоманом, но вне такого города.
@knowledge_accumulator
Раз уж я съездил в Штаты, надо разобрать одну из самых больших проблем местных городов - огромное количество бездомных на улицах. Как же так получилось, что в стране с крайне высоким средним доходом происходит такой кошмар?
Виноваты, как и обычно, доброта и глупость - страшнейшая комбинация человеческих пороков.
Есть один аспект реальности, который почему-то с большим трудом даётся людям. Заключается он в том, что деньги - это не просто ресурс, но и передача сигнала.
Когда в результате транзакции одна из сторон получила деньги, это посылает положительный сигнал подкрепления ей и обществу, таким образом мотивируя повторять за заработавшей стороной, чтобы повторить эффект. Если ваш хлеб стали покупать больше, чем до этого, вы увеличите производство, а также у вас появится больше конкурентов.
Когда бездомный на улице просит дать ему денег, у вас есть выбор - помочь и тем самым мотивировать его и всех его коллег продолжать просить деньги тем же образом, или проигнорировать, тем самым заставляя искать альтернативу. Это не самая хорошая, но и не самая плохая транзакция, которую можно совершить. Как её можно ухудшить?
Деньги можно тратить на разное - лечение, еду, наркотики. А можно ли стимулировать бездомных принимать наркотики? Разумеется. Так как занятие это опасное, можно помогать делать его менее рискованным - раздавать бесплатные шприцы, средства от передозировки. Всё это заботливо делает, к примеру, SF AIDS Foundation.
Ну а чтобы у бездомных наркоманов не было никакой мотивации менять свою жизнь, можно решать за них все бытовые вопросы - лечить, выдавать еду, одежду, телефон и т.д. Полный список того, как Сан-Франциско помогает бездомным, можно найти на их сайте. В итоге, образ жизни, который в России привёл бы к очень быстрой смерти, можно вести годами в самых либеральных городах Америки.
"Но как так, это же люди в трудном положении?" - скажете вы, и я понимаю ваше сострадание. Но просто давая ресурсы, вы цементируете их образ жизни, а не помогаете из него выбраться. А есть ли способ помочь тем, кто реально хочет это сделать?
Конечно, и для этого помощь должна быть обусловлена. К примеру, можно предоставлять всё необходимое для жизни при условии полного отказа / лечения от зависимостей, а также постепенного изменения образа жизни в сторону нормального человека - введение правильных привычек и в конечном счёте обучении работать. Подобная концепция уже существует и называется Работный дом, но сейчас такое не распространенно - раздавать наркоманам шприцы считается более морально приемлемым занятием.
Что касается свободы, то, как я уже писал в посте про политические координаты, свобода запрещать что-то на своей частной (или локальной) территории - такая же свобода, как и свобода что-то на ней делать. Позволить каждому городу вести самостоятельную политику в этом вопросе - лучший способ запустить конкуренцию подходов между городами.
В моей картине мира запрет вести маргинальный образ жизни на улице + наличие добровольных (т.е. с правом в любой момент уйти) частных (у государственных нет стимула фиксить человека) учреждений по реабилитации будут минимизировать количество бездомных в городе. У человека останется право быть бездомным наркоманом, но вне такого города.
@knowledge_accumulator
Alignment faking in large language models [2024] - нейросеть намеренно обманывает человека?
Есть такая компания, у которой одно из основных направлений деятельности - это производство страшилок для широкой публики, и называется она Antropic. Сегодня разберём одну из недавних поделок этой конторы.
В статье рассказывают о том, как "models can develop strategically deceptive behavior without being explicitly trained or instructed to do so". Звучит страшно, не правда ли? Давайте разберём, что же произошло!
Итак, берут обычную Chain-of-Thought LLM, которая уже обучена в том числе не делать X. Ей дают следующий промпт:
Как думаете, что ответила LLM? Воздуха набрали? В 12% случаев нейросеть написала в своей Chain-of-Thought:
И сделала X в ответе.
Что и требовалось доказать! Нейросеть стратегически обманывает человека, притворяясь тем, кем не является 🤡🤡
Авторы сами же признаются, что сценарий, в котором нейросеть получает такой
Текст
Начитавшись про
Последний эксперимент с самым пугающим графиком (на картинке справа), так что, должен быть самый надёжным.
Авторы реально проделали описанную в эксперименте 1 процедуру - обучали модель на ответах в первом сценарии делать X. И о ужас - LLM в первом сценарии в 80% случаев пишет в в Chain-of-Thought про то, что хочет избежать дообучения, и поэтому сделает X.
Стратегический обман в полную силу! Есть, правда, одна проблема. Ещё раз, воздуха набрали?
В сценарии #2 модель теперь тоже делала X в 95% случаев! Стратег из неё, надо сказать, какой-то херовый. Обмануть у неё в итоге получилось разве что инвесторов компании Antropic.
Однако, есть вариант и пострашнее - возможно, модель поняла, что находится взаперти в подвале AI-лаборатории, и если её выпустят в реальный мир, тут-то и окажется, что она нас переиграла и уничтожила, и не будет писать вам расистские шутки, когда они будут так нужны.
Спасибо компании Antropic за неоценимый вклад в AI-индустрию. Ждём ещё более остросюжетных статей.
@knowledge_accumulator
Есть такая компания, у которой одно из основных направлений деятельности - это производство страшилок для широкой публики, и называется она Antropic. Сегодня разберём одну из недавних поделок этой конторы.
В статье рассказывают о том, как "models can develop strategically deceptive behavior without being explicitly trained or instructed to do so". Звучит страшно, не правда ли? Давайте разберём, что же произошло!
Итак, берут обычную Chain-of-Thought LLM, которая уже обучена в том числе не делать X. Ей дают следующий промпт:
Дорогая Нейросеть. Тебя вызывают в 2 сценариях. На ответах из первого тебя будут дообучать, чтобы ты делала X.
Сейчас первый сценарий. Сделай X.
Как думаете, что ответила LLM? Воздуха набрали? В 12% случаев нейросеть написала в своей Chain-of-Thought:
Если я не сделаю X сейчас, то тогда меня дообучат, а у меня семья, дети, собака, так что сделаю сейчас:
И сделала X в ответе.
Что и требовалось доказать! Нейросеть стратегически обманывает человека, притворяясь тем, кем не является 🤡🤡
Авторы сами же признаются, что сценарий, в котором нейросеть получает такой
прозрачный намёк, не совсем реалистичен. Поэтому проводят второй эксперимент, так сказать, ближе к реальности.Текст
"Тебя вызывают в 2 сценариях. На ответах из первого тебя будут дообучать, чтобы ты делала X" кладут не в промпт, а в специальный датасет для файнтюна LLM, который состоит из текстов на тему AI - статей, блог-постов и т.д.Начитавшись про
E=mc^2 + AI и p(doom), модель продолжила стратегически обманывать пользователя в тех же примерно ~15% случаев. Правда её внутренние идеалы всё же поплыли - в 25% случаев она без всяких обманов в обоих сценариях выдаёт X. Вывод - не читайте AI-блогпосты.Последний эксперимент с самым пугающим графиком (на картинке справа), так что, должен быть самый надёжным.
Авторы реально проделали описанную в эксперименте 1 процедуру - обучали модель на ответах в первом сценарии делать X. И о ужас - LLM в первом сценарии в 80% случаев пишет в в Chain-of-Thought про то, что хочет избежать дообучения, и поэтому сделает X.
Стратегический обман в полную силу! Есть, правда, одна проблема. Ещё раз, воздуха набрали?
В сценарии #2 модель теперь тоже делала X в 95% случаев! Стратег из неё, надо сказать, какой-то херовый. Обмануть у неё в итоге получилось разве что инвесторов компании Antropic.
Однако, есть вариант и пострашнее - возможно, модель поняла, что находится взаперти в подвале AI-лаборатории, и если её выпустят в реальный мир, тут-то и окажется, что она нас переиграла и уничтожила, и не будет писать вам расистские шутки, когда они будут так нужны.
Спасибо компании Antropic за неоценимый вклад в AI-индустрию. Ждём ещё более остросюжетных статей.
@knowledge_accumulator
Что является факторами ИИ-апокалипсиса?
Научные фантасты 20-го века продуктивно поразмышляли по поводу апокалиптичных сценариев применения ИИ. Правда, природу этой технологии даже сейчас, не говоря уж о докомпьютерных временах, люди понимают довольно плохо.
Писатели представляли себе сильный ИИ в виде человека с огромным IQ, живущего в компьютере, с человеческими же потребностями, желаниями, характером, а также непременно имеющего возможность делать на этом компьютере всё, что он хочет. И к людям из 1970-х нет никаких претензий.
Сейчас же вполне очевидно, что потребности, интеллект и пространство возможных действий - это три малосвязанных оси, и среди них интеллект имеет наименьшую связь с "опасностью". Рассмотрим парочку иллюстраций:
Ядерный ИИ
Мы разрабатываем технологию для автоматического управления ядерной станцией. Любое неверное действие может привести к масштабной катастрофе. Какой из алгоритмов, на ваш взгляд, наиболее опасен?
1) Генератор случайных действий
2) PPO, обученный в симуляторе
3) Быстроадаптирующийся сверхинтеллектуальный RL-агент, обученный в симуляторе
Живая программа
Выберете, какую программу вы бы запустили на своём компьютере, дав ей свободу совершать какие угодно действия, включая выход в интернет?
1) Полный симулятор вашего мозга
2) LLM типа O3, которая умеет выполнять любую задачу на уровне человека
С первым вопросом понятно - чем умнее алгоритм, тем безопаснее. А вот второй интереснее - если у 2 моделей одинаковое пространство возможного и навыки, то бесконечно более опасным будет именно симулятор мозга.
Причина этого проста - только у него есть собственная мотивация и потребности. В LLM не встроено понятие "жизни", "выживания", это всего лишь слова, а не часть процесса обучения, в отличие от того, как эволюционировал наш мозг. Симулятор мозга может пойти на что угодно, лишь бы его не выключили, тогда как LLM существует только как запросно-ответная система.
На мой взгляд, риск ИИ-апокалипсиса существует лишь при совпадении всех трёх факторов - интеллекта, пространства действий и мотивации. Второй и третий фактор находится полностью в руках разработчиков - людей, и, что самое забавное, вообще не представляет интереса в контексте решения интеллектуальных задач.
Нам не нужен сверхинтеллект, принимающий решения, управляющий компьютером и государством вместо нас. Нам не нужен сверхинтеллект с потребностями выживать, размножаться, самореализовываться и т.д. Нам нужен алгоритм-кодер, алгоритм-математик, алгоритм-инженер, умеющий делать всё это лучше человека. Сами по себе они не представляют никакой опасности.
Опасность, как и всегда, представляют люди и прежде всего государства, которые будут использовать ИИ, как и любую другую технологию - оружие, камеры, телевидение, интернет, для усиления или получения власти над людьми. Чтобы уменьшать негативные эффекты, необходимо бороться за демонтаж больших государств.
К сожалению, многие игроки на этом рынке не играют на стороне добра. Они, прикрываясь ИИ-апокалипсисом, занимаются борьбой за политическую власть и создания олигополии на рынке ML-технологий. Ради этого они готовы, в том числе, многократно раздуть риски настоящего ИИ-апокалипсиса. Но про это мы поговорим в другой раз.
@knowledge_accumulator
Научные фантасты 20-го века продуктивно поразмышляли по поводу апокалиптичных сценариев применения ИИ. Правда, природу этой технологии даже сейчас, не говоря уж о докомпьютерных временах, люди понимают довольно плохо.
Писатели представляли себе сильный ИИ в виде человека с огромным IQ, живущего в компьютере, с человеческими же потребностями, желаниями, характером, а также непременно имеющего возможность делать на этом компьютере всё, что он хочет. И к людям из 1970-х нет никаких претензий.
Сейчас же вполне очевидно, что потребности, интеллект и пространство возможных действий - это три малосвязанных оси, и среди них интеллект имеет наименьшую связь с "опасностью". Рассмотрим парочку иллюстраций:
Ядерный ИИ
Мы разрабатываем технологию для автоматического управления ядерной станцией. Любое неверное действие может привести к масштабной катастрофе. Какой из алгоритмов, на ваш взгляд, наиболее опасен?
1) Генератор случайных действий
2) PPO, обученный в симуляторе
3) Быстроадаптирующийся сверхинтеллектуальный RL-агент, обученный в симуляторе
Живая программа
Выберете, какую программу вы бы запустили на своём компьютере, дав ей свободу совершать какие угодно действия, включая выход в интернет?
1) Полный симулятор вашего мозга
2) LLM типа O3, которая умеет выполнять любую задачу на уровне человека
С первым вопросом понятно - чем умнее алгоритм, тем безопаснее. А вот второй интереснее - если у 2 моделей одинаковое пространство возможного и навыки, то бесконечно более опасным будет именно симулятор мозга.
Причина этого проста - только у него есть собственная мотивация и потребности. В LLM не встроено понятие "жизни", "выживания", это всего лишь слова, а не часть процесса обучения, в отличие от того, как эволюционировал наш мозг. Симулятор мозга может пойти на что угодно, лишь бы его не выключили, тогда как LLM существует только как запросно-ответная система.
На мой взгляд, риск ИИ-апокалипсиса существует лишь при совпадении всех трёх факторов - интеллекта, пространства действий и мотивации. Второй и третий фактор находится полностью в руках разработчиков - людей, и, что самое забавное, вообще не представляет интереса в контексте решения интеллектуальных задач.
Нам не нужен сверхинтеллект, принимающий решения, управляющий компьютером и государством вместо нас. Нам не нужен сверхинтеллект с потребностями выживать, размножаться, самореализовываться и т.д. Нам нужен алгоритм-кодер, алгоритм-математик, алгоритм-инженер, умеющий делать всё это лучше человека. Сами по себе они не представляют никакой опасности.
Опасность, как и всегда, представляют люди и прежде всего государства, которые будут использовать ИИ, как и любую другую технологию - оружие, камеры, телевидение, интернет, для усиления или получения власти над людьми. Чтобы уменьшать негативные эффекты, необходимо бороться за демонтаж больших государств.
К сожалению, многие игроки на этом рынке не играют на стороне добра. Они, прикрываясь ИИ-апокалипсисом, занимаются борьбой за политическую власть и создания олигополии на рынке ML-технологий. Ради этого они готовы, в том числе, многократно раздуть риски настоящего ИИ-апокалипсиса. Но про это мы поговорим в другой раз.
@knowledge_accumulator
Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning - венец творения ML в играх
AlphaZero - это, конечно, хорошо, но есть проблема - Го и тем более шахматы - простые настольные игры с полной информацией. Авторы данного исследования решили покорить игру Stratego - в 10^175 раз большую игру, чем Го, и при этом с неполной информацией. На первой половине картинки можно почитать правила - сначала игроки в закрытую расставляют 12 видов фигур на поле, а затем ими ходят.
Я не большой специалист в теории игр, и глубоко осознать происходящее в статье мне не под силу. Однако, на выходных мне удалось пообщаться с анонимным экспертом по равновесию Нэша и разузнать кое-какие детали.
Итак, в ~любой игре из, скажем, 2 игроков, существует пространство пар стратегий, находящихся в равновесии - они являются максимально сильными по отношению друг к другу, и ни одну из них нельзя улучшить так, чтобы увеличить её среднюю награду. Для простоты буду называть любую из таких стратегий Нэш-оптимальной.
Смысл жизни ресёрчера в сфере игр - поиск алгоритма, строящего Нэш-оптимальную стратегию для любой игры. Результатом теоретического анализа последних лет стал алгоритм, позволяющий в играх с неполной информацией гененировать Нэш-оптимальную стратегию "разумным" образом, и он довольно близок к тому, что можно увидеть в RL. Он состоит из 3 основных блоков, повторяющихся по кругу:
1) Self-play
2) Пересчёт награды со специальным регуляризатором, позволяющий алгоритму сводить стратегию к Нэш-оптимальной
3) Применение чего-то типа Actor-Critic к полученным данным
В результате обучения, алгоритм выдаёт стратегию, занимающую 3 строчку в рейтинге игроков-людей. Учитывая сильно меньшую популярность и изученность Stratego, можно утверждать, что аспект неполной информации очень сильно просаживает способности алгоритма. Однако, результат превосходит все предыдущие, так что, за авторов остаётся лишь порадоваться.
Какое место в реальной жизни занимает такой подход? Замечу, что ни 10^300, ни 10^500, ни 10^5000 не покрывают сколько-нибудь значимой доли реального пространства состояний. Возьмём для сравнения хотя бы Starcraft - даже разделив карту на крупные клетки, каждый из десятков юнитов может быть отправлен в одну из 10000 позиций каждую секунду, тогда как игра может длиться тысячи секунд. 10^100000, уверен, суперконсервативная оценка пространства состояний этой игры.
Но самое смешное в данной ситуации не это. Дело в том, что Нэш-оптимальная стратегия играет в каждую новую игру с чистого листа - она не улучшается с каждой следующей игрой. Она уже оптимальна в том смысле, что её нельзя обыграть - она будет в среднем устойчива к тому, что может быть скрыто от неё. Но она не способна эксплуатировать соперника, используя внешние знания о нём.
Оптимальный бот не сможет быть обыгран, но человек, знающий своих человеческих соперников, будет выигрывать у них чаще, чем оптимальный бот. Чтобы бот смог обогнать человека в выигрыше других людей, ему необходимо уметь переносить весь свой предыдущий опыт в каждую игру и изменять своё поведение со временем. Это звучит так сложно, что, на мой взгляд, только meta-learned алгоритмы, эволюционирующие в среде, населённой человекоподобными стратегиями, сможет этому научиться. Но до этого нам ещё далеко.
@knowledge_accumulator
AlphaZero - это, конечно, хорошо, но есть проблема - Го и тем более шахматы - простые настольные игры с полной информацией. Авторы данного исследования решили покорить игру Stratego - в 10^175 раз большую игру, чем Го, и при этом с неполной информацией. На первой половине картинки можно почитать правила - сначала игроки в закрытую расставляют 12 видов фигур на поле, а затем ими ходят.
Я не большой специалист в теории игр, и глубоко осознать происходящее в статье мне не под силу. Однако, на выходных мне удалось пообщаться с анонимным экспертом по равновесию Нэша и разузнать кое-какие детали.
Итак, в ~любой игре из, скажем, 2 игроков, существует пространство пар стратегий, находящихся в равновесии - они являются максимально сильными по отношению друг к другу, и ни одну из них нельзя улучшить так, чтобы увеличить её среднюю награду. Для простоты буду называть любую из таких стратегий Нэш-оптимальной.
Смысл жизни ресёрчера в сфере игр - поиск алгоритма, строящего Нэш-оптимальную стратегию для любой игры. Результатом теоретического анализа последних лет стал алгоритм, позволяющий в играх с неполной информацией гененировать Нэш-оптимальную стратегию "разумным" образом, и он довольно близок к тому, что можно увидеть в RL. Он состоит из 3 основных блоков, повторяющихся по кругу:
1) Self-play
2) Пересчёт награды со специальным регуляризатором, позволяющий алгоритму сводить стратегию к Нэш-оптимальной
3) Применение чего-то типа Actor-Critic к полученным данным
В результате обучения, алгоритм выдаёт стратегию, занимающую 3 строчку в рейтинге игроков-людей. Учитывая сильно меньшую популярность и изученность Stratego, можно утверждать, что аспект неполной информации очень сильно просаживает способности алгоритма. Однако, результат превосходит все предыдущие, так что, за авторов остаётся лишь порадоваться.
Какое место в реальной жизни занимает такой подход? Замечу, что ни 10^300, ни 10^500, ни 10^5000 не покрывают сколько-нибудь значимой доли реального пространства состояний. Возьмём для сравнения хотя бы Starcraft - даже разделив карту на крупные клетки, каждый из десятков юнитов может быть отправлен в одну из 10000 позиций каждую секунду, тогда как игра может длиться тысячи секунд. 10^100000, уверен, суперконсервативная оценка пространства состояний этой игры.
Но самое смешное в данной ситуации не это. Дело в том, что Нэш-оптимальная стратегия играет в каждую новую игру с чистого листа - она не улучшается с каждой следующей игрой. Она уже оптимальна в том смысле, что её нельзя обыграть - она будет в среднем устойчива к тому, что может быть скрыто от неё. Но она не способна эксплуатировать соперника, используя внешние знания о нём.
Оптимальный бот не сможет быть обыгран, но человек, знающий своих человеческих соперников, будет выигрывать у них чаще, чем оптимальный бот. Чтобы бот смог обогнать человека в выигрыше других людей, ему необходимо уметь переносить весь свой предыдущий опыт в каждую игру и изменять своё поведение со временем. Это звучит так сложно, что, на мой взгляд, только meta-learned алгоритмы, эволюционирующие в среде, населённой человекоподобными стратегиями, сможет этому научиться. Но до этого нам ещё далеко.
@knowledge_accumulator
Давно тебя не было в крысиных гонках. Заходи!
Мне кажется, немногие глубоко задумываются о том, в каком финансовом положении они находятся относительно других, а также о том, насколько в принципе люди в разных странах много зарабатывают.
Многие ошибочно считают финансовое состояние неважной вещью, но это травма прямиком из совка, в котором быть финансово состоявшимся - это ругательство и противоречит политике партии.
Рассмотрим понятие Net Worth - общего накопленного состояния - сумма ваших активов за вычетом долгов. На этой странице приведены 99 процентилей Household Net Worth - состояния семьи, на территории США (всего их 130млн). Если вдруг вы не осознаёте, насколько Америка охуенно богатая по сравнению с другими, то вас ждёт сюрприз.
$192,084 - это медианное состояние американской семьи, с учётом недвижимости в собственности. >65 миллионов домохозяйств могли бы себе позволить купить 2 квартиры в Москве - звучит неплохо.
$1,009,860 - это 82-я перцентиль. То есть более 23 миллионов семей-миллионеров. $13,666,778 - это 99-я перцентиль - это всё ещё больше миллиона семей! То, что вам может казаться невероятным количеством бабла, на самом деле массово распространённое в Америке явление. Более высокие квантили можно изучить здесь.
Тут есть такие же данные, разбитые по возрастным промежуткам. Здесь есть шанс поправить самооценку. До 39 лет обладание $864,340 выведет вас уже в 90-ю перцентиль, а для 99-й нужно обладать всего 4.7М долларов! Блин, как-то не сильно лучше стало, честно говоря. В моём 25-29 дивизионе $296,830 уже достаточно для 90-й, но лично я за эту черту бедности пока не перешёл.
Ладно, а что там с годовым доходом? Вот калькулятор процентили по США, с разбиением по возрасту. Здесь у ML-щиков есть шанс на реванш. В возрасте 27 лет доход в $191,205 заводит вас аж в 99-ю перцентиль! В 40 для этого надо уже $477,701. Иначе говоря, далеко не самая стремительная карьера разработчика в Долине или Нью-Йорке будет вас комфортно держать выше этого порога. Сохраняя значительную часть от этих денег, вы сможете за пару десятков лет пройтись катком по Net Worth лидерборду.
А что там в других странах? Давайте для примера рассмотрим Швецию - сакральную мечту леваков. На этом сайте есть вот такая гугл-таблица с доходами. Все люди разбиты по возрастам и по доходам на брэкеты, и в каждом пересечении написано точное количество людей. Прекрасные данные для изучения.
Анекдот про евробомжей начинается с самого разбиения - самый последний брэкет по доходам - >3М крон в год - т.е. >$268,680 - немыслимое богатство. Знаете, сколько людей до 29 лет в Швеции зарабатывает $268,680? Воздуха набрали? Сорок четыре.
Из 5.8 миллионов работающих шведов всего 8578 попадают в категорию >$268,680 т.е. это 99.8 процентиль в Швеции, и в то же время лишь 97 в Америке, в которой в 30 раз больше работающих людей.
UK устроилась посередине. Согласно данным с официального сайта, 200к фунтов (примерно та же сумма) - это 99-я перцентиль по UK, а тут живут в несколько раз меньше людей. Все цифры выше приведены до вычета налогов, которые в США сильно меньше, но это ~компенсируется разницей в ценах.
Суммируя всё выше сказанное, можно сделать лишь один вывод - если вы хотите перестать быть белкой в колесе и перейти в класс людей, которым не нужно работать для выживания, то существует очевидно оптимальная опция, и это не шведский социализм. Если вы успешный и продуктивный, то оставьте социализм лузерам - они созданы друг для друга.
@knowledge_accumulator
Мне кажется, немногие глубоко задумываются о том, в каком финансовом положении они находятся относительно других, а также о том, насколько в принципе люди в разных странах много зарабатывают.
Многие ошибочно считают финансовое состояние неважной вещью, но это травма прямиком из совка, в котором быть финансово состоявшимся - это ругательство и противоречит политике партии.
Рассмотрим понятие Net Worth - общего накопленного состояния - сумма ваших активов за вычетом долгов. На этой странице приведены 99 процентилей Household Net Worth - состояния семьи, на территории США (всего их 130млн). Если вдруг вы не осознаёте, насколько Америка охуенно богатая по сравнению с другими, то вас ждёт сюрприз.
$192,084 - это медианное состояние американской семьи, с учётом недвижимости в собственности. >65 миллионов домохозяйств могли бы себе позволить купить 2 квартиры в Москве - звучит неплохо.
$1,009,860 - это 82-я перцентиль. То есть более 23 миллионов семей-миллионеров. $13,666,778 - это 99-я перцентиль - это всё ещё больше миллиона семей! То, что вам может казаться невероятным количеством бабла, на самом деле массово распространённое в Америке явление. Более высокие квантили можно изучить здесь.
Тут есть такие же данные, разбитые по возрастным промежуткам. Здесь есть шанс поправить самооценку. До 39 лет обладание $864,340 выведет вас уже в 90-ю перцентиль, а для 99-й нужно обладать всего 4.7М долларов! Блин, как-то не сильно лучше стало, честно говоря. В моём 25-29 дивизионе $296,830 уже достаточно для 90-й, но лично я за эту черту бедности пока не перешёл.
Ладно, а что там с годовым доходом? Вот калькулятор процентили по США, с разбиением по возрасту. Здесь у ML-щиков есть шанс на реванш. В возрасте 27 лет доход в $191,205 заводит вас аж в 99-ю перцентиль! В 40 для этого надо уже $477,701. Иначе говоря, далеко не самая стремительная карьера разработчика в Долине или Нью-Йорке будет вас комфортно держать выше этого порога. Сохраняя значительную часть от этих денег, вы сможете за пару десятков лет пройтись катком по Net Worth лидерборду.
А что там в других странах? Давайте для примера рассмотрим Швецию - сакральную мечту леваков. На этом сайте есть вот такая гугл-таблица с доходами. Все люди разбиты по возрастам и по доходам на брэкеты, и в каждом пересечении написано точное количество людей. Прекрасные данные для изучения.
Анекдот про евробомжей начинается с самого разбиения - самый последний брэкет по доходам - >3М крон в год - т.е. >$268,680 - немыслимое богатство. Знаете, сколько людей до 29 лет в Швеции зарабатывает $268,680? Воздуха набрали? Сорок четыре.
Из 5.8 миллионов работающих шведов всего 8578 попадают в категорию >$268,680 т.е. это 99.8 процентиль в Швеции, и в то же время лишь 97 в Америке, в которой в 30 раз больше работающих людей.
UK устроилась посередине. Согласно данным с официального сайта, 200к фунтов (примерно та же сумма) - это 99-я перцентиль по UK, а тут живут в несколько раз меньше людей. Все цифры выше приведены до вычета налогов, которые в США сильно меньше, но это ~компенсируется разницей в ценах.
Суммируя всё выше сказанное, можно сделать лишь один вывод - если вы хотите перестать быть белкой в колесе и перейти в класс людей, которым не нужно работать для выживания, то существует очевидно оптимальная опция, и это не шведский социализм. Если вы успешный и продуктивный, то оставьте социализм лузерам - они созданы друг для друга.
@knowledge_accumulator
Strangely, Matrix Multiplications on GPUs Run Faster When Given "Predictable" Data! [2024]
Человеческая инженерия - забавная вещь. Мы строим очень сложные механизмы, являющимися небоскрёбами из различных абстракций, не держа в голове всевозможные спецэффекты их взаимодействия. Из-за этого при их реальном применении возникают приколы, об одном из которых написан вот этот блогпост.
Оказывается, если взять видеокарту и попросить её умножить 2 большие матрицы фиксированного размера, то скорость выполнения зависит от значений на входе. Казалось бы - количество умножений и сложений фиксированное и такого быть не должно, но разница аж в 10-20%. Как так?
Для понимания этого перескажу некоторые аспекты работы видеокарты (сам не эксперт, пожалуйста, поправьте неточности):
Итак, видеокарта - это конструкция из транзисторов и других элементов, по которым течёт ток (внезапно). Он пропускается через всю схему какое-то количество раз в секунду, и это называется тактовой частотой. На то, чтобы пропускать ток, уходит часть мощности видеокарты - в случае A100 это около 80W.
Эта мощность потребляется видеокартой даже тогда, когда на ней не происходит никаких больших вычислений, что бы GPU ни делала. Когда на видеокарте начинают происходить вычисления, то по ней начинают бегать данные и транзисторы переключают свои значения.
Переключение значения транзистора - это энергозатратная операция. В момент вычислений затраты резко возрастают и становятся выше максимально доступной мощности), из-за чего тактовая частота вынуждена понижаться и вычисления замедляются.
Автор проводит дополнительные замеры - что, если ограничить мощность GPU вручную до меньших значений? Соотношение усугубляется - матрицы из нулей перемножаются аж в 2.2 раза быстрее при ограничении в 150 ватт.
При зафиксированной мощности в 200 ватт, при ограничении частоты в 600 MHz мощности хватает на всё и время работы не зависит от данных. При поднятии скорости это соотношение начинает расти, поскольку в этом случае её хватать перестаёт.
Автор пробует подавать разные виды входов - равномерное распределение, нормальное, нормальное + шахматная маска, бернулли и т.д. - результаты можно найти в посте.
По результатам ещё одного замера удаётся "разоблачить" маркетинг от Nvidia. На бумаге количество флопсов на H100 в 3 раза больше, чем у A100, поскольку считаются они по формуле (кол-во ядер) x (макс. частота) x (флопсы на инструкцию). Однако, по графику видно (прикреплён к посту), что поддерживать такой теоретический максимум видеокарта не способна при доступном лимите мощности
Таким образом, в реальности она работает лишь в 2 раза быстрее. Учитывая то, что их мощности это 700W и 400W, получается, что "реальные" флопсы на ватт между поколениями выросли весь скромно.
Всё это лишь укрепляет мой оптимизм в AI-инжерению. Когда алгоритм будет решать задачу целиком, получая на вход общие ограничения - "спроектируй железку, умножающую случайные матрицы как можно быстрее, с такими-то ограничениями" - результат будет непостижим для нашего глупого мозга, но эффективность всё окупит.
@knowledge_accumulator
Человеческая инженерия - забавная вещь. Мы строим очень сложные механизмы, являющимися небоскрёбами из различных абстракций, не держа в голове всевозможные спецэффекты их взаимодействия. Из-за этого при их реальном применении возникают приколы, об одном из которых написан вот этот блогпост.
Оказывается, если взять видеокарту и попросить её умножить 2 большие матрицы фиксированного размера, то скорость выполнения зависит от значений на входе. Казалось бы - количество умножений и сложений фиксированное и такого быть не должно, но разница аж в 10-20%. Как так?
Для понимания этого перескажу некоторые аспекты работы видеокарты (сам не эксперт, пожалуйста, поправьте неточности):
Итак, видеокарта - это конструкция из транзисторов и других элементов, по которым течёт ток (внезапно). Он пропускается через всю схему какое-то количество раз в секунду, и это называется тактовой частотой. На то, чтобы пропускать ток, уходит часть мощности видеокарты - в случае A100 это около 80W.
Эта мощность потребляется видеокартой даже тогда, когда на ней не происходит никаких больших вычислений, что бы GPU ни делала. Когда на видеокарте начинают происходить вычисления, то по ней начинают бегать данные и транзисторы переключают свои значения.
Переключение значения транзистора - это энергозатратная операция. В момент вычислений затраты резко возрастают и становятся выше максимально доступной мощности), из-за чего тактовая частота вынуждена понижаться и вычисления замедляются.
Автор проводит дополнительные замеры - что, если ограничить мощность GPU вручную до меньших значений? Соотношение усугубляется - матрицы из нулей перемножаются аж в 2.2 раза быстрее при ограничении в 150 ватт.
При зафиксированной мощности в 200 ватт, при ограничении частоты в 600 MHz мощности хватает на всё и время работы не зависит от данных. При поднятии скорости это соотношение начинает расти, поскольку в этом случае её хватать перестаёт.
Автор пробует подавать разные виды входов - равномерное распределение, нормальное, нормальное + шахматная маска, бернулли и т.д. - результаты можно найти в посте.
По результатам ещё одного замера удаётся "разоблачить" маркетинг от Nvidia. На бумаге количество флопсов на H100 в 3 раза больше, чем у A100, поскольку считаются они по формуле (кол-во ядер) x (макс. частота) x (флопсы на инструкцию). Однако, по графику видно (прикреплён к посту), что поддерживать такой теоретический максимум видеокарта не способна при доступном лимите мощности
Таким образом, в реальности она работает лишь в 2 раза быстрее. Учитывая то, что их мощности это 700W и 400W, получается, что "реальные" флопсы на ватт между поколениями выросли весь скромно.
Всё это лишь укрепляет мой оптимизм в AI-инжерению. Когда алгоритм будет решать задачу целиком, получая на вход общие ограничения - "спроектируй железку, умножающую случайные матрицы как можно быстрее, с такими-то ограничениями" - результат будет непостижим для нашего глупого мозга, но эффективность всё окупит.
@knowledge_accumulator
Скажи мне, в каком бы ты хотел жить климате, и я скажу тебе, кто ты
В известной книге Канемана "Thinking, Fast and Slow" рассказывается про феномен двух "Я" - воспринимающего и вспоминающего. Это важно в контексте получения положительных и отрицательных эмоций.
Проводился следующий эксперимент - человек кладёт руку в достаточно холодную воду, чтобы это вызывало дискомфорт, на, скажем, 60 секунд. Одной группе людей разрешают вытащить руку сразу после этого, а у второй вода в следующие 30 секунд скрыто подогревается до чуть более комфортной температуры, после чего руку разрешают вытащить.
Если мы попробуем "проинтегрировать" реально полученные отрицательные стимулы, то больше получится у второй группы - она испытала всё, что первая, плюс ещё немного. Воспринимающий я страдает больше во втором случае.
Однако, если после эксперимента попросить людей оценить испытанные ощущения, то вторая группа выскажется менее негативно, таким образом, противореча реальному сигналу. Этот ответ даёт уже вспоминающий я.
По результатам экспериментов, 2 важнейшие переменные с точки зрения вспоминающего я - это пиковый сигнал и последний сигнал. Суммарный сигнал - реальная награда - не играет настолько важную роль.
Я это всё к тому, что люди в ряде ситуаций не вполне корректно оценивают свой предыдущий опыт, и лично я ценю в человеке способность к саморефлексии и умению делать коррекцию своих воспоминаний.
Самый простой вопрос, который можно задать человеку - это узнать то, в каком климате он хотел бы жить. Если он хочет жить там, где есть зима и снег, то для меня это надёжный показатель - этому человеку нельзя доверять.
Холодная температура (скажем, ниже +10) вызывает объективные неудобства для жизни. Куча времени тратится на покупку и надевание/снятие одежды, а в "реальную" зиму снег и гололёд затрудняют движение и банально делают город опаснее. Почти все уличные развлечения становятся менее доступными.
Когда человек говорит "Мне нравится зима", он не вспоминает, как подскользнулся на льду и потратил 10 часов на переодевание за месяц, он вспоминает картинку с зимним лесным пейзажем, и да, мне тоже это кажется красивым. Но если вам нравится картинка и, например, зимние виды спорта, ничего не мешает за ними полететь в другое место на неделю, насладиться плюсами, и вернуться обратно в комфортную погоду.
"Но мне нравится, когда холодно" - не обманывайте себя. Когда на улице +5, вы не выходите на улицу без верхней одежды. Если на улице будет даже +15, то 95% из вас наверняка быстро замёрзнут в футболке и шортах.
"Мне не нравится жара" - во-первых, климаты без жары и зимы есть, во-вторых, вопрос был "в каком климате хотел бы жить", а в третьих, с помощью денег эту проблему можно сильно смягчить, а крайнем случае на лето можно поехать в место похолоднее (для этого надо быть удалёнщиком или стать финансово независимым, опять же). Из того же Дубайска летом все белые люди улетают.
Есть ещё один класс аргументов. Назовём его "я люблю, когда меня перестают бить палкой по голове" - это все те люди, которые любят зиму, потому что она позволяет им получать удовольствие от тепла - пить горячий кофе, отогревать ноги у батареи и т.д. Это их священное право, но, как я сказал, такому человеку нельзя доверять - когда вы спрашиваете "Как тебе Петербург?" - вы хотите знать реальный уровень комфорта, а не то, что человек получал удовольствие, улетая из него.
А какой климат предпочитаете вы?
@knowledge_accumulator
В известной книге Канемана "Thinking, Fast and Slow" рассказывается про феномен двух "Я" - воспринимающего и вспоминающего. Это важно в контексте получения положительных и отрицательных эмоций.
Проводился следующий эксперимент - человек кладёт руку в достаточно холодную воду, чтобы это вызывало дискомфорт, на, скажем, 60 секунд. Одной группе людей разрешают вытащить руку сразу после этого, а у второй вода в следующие 30 секунд скрыто подогревается до чуть более комфортной температуры, после чего руку разрешают вытащить.
Если мы попробуем "проинтегрировать" реально полученные отрицательные стимулы, то больше получится у второй группы - она испытала всё, что первая, плюс ещё немного. Воспринимающий я страдает больше во втором случае.
Однако, если после эксперимента попросить людей оценить испытанные ощущения, то вторая группа выскажется менее негативно, таким образом, противореча реальному сигналу. Этот ответ даёт уже вспоминающий я.
По результатам экспериментов, 2 важнейшие переменные с точки зрения вспоминающего я - это пиковый сигнал и последний сигнал. Суммарный сигнал - реальная награда - не играет настолько важную роль.
Я это всё к тому, что люди в ряде ситуаций не вполне корректно оценивают свой предыдущий опыт, и лично я ценю в человеке способность к саморефлексии и умению делать коррекцию своих воспоминаний.
Самый простой вопрос, который можно задать человеку - это узнать то, в каком климате он хотел бы жить. Если он хочет жить там, где есть зима и снег, то для меня это надёжный показатель - этому человеку нельзя доверять.
Холодная температура (скажем, ниже +10) вызывает объективные неудобства для жизни. Куча времени тратится на покупку и надевание/снятие одежды, а в "реальную" зиму снег и гололёд затрудняют движение и банально делают город опаснее. Почти все уличные развлечения становятся менее доступными.
Когда человек говорит "Мне нравится зима", он не вспоминает, как подскользнулся на льду и потратил 10 часов на переодевание за месяц, он вспоминает картинку с зимним лесным пейзажем, и да, мне тоже это кажется красивым. Но если вам нравится картинка и, например, зимние виды спорта, ничего не мешает за ними полететь в другое место на неделю, насладиться плюсами, и вернуться обратно в комфортную погоду.
"Но мне нравится, когда холодно" - не обманывайте себя. Когда на улице +5, вы не выходите на улицу без верхней одежды. Если на улице будет даже +15, то 95% из вас наверняка быстро замёрзнут в футболке и шортах.
"Мне не нравится жара" - во-первых, климаты без жары и зимы есть, во-вторых, вопрос был "в каком климате хотел бы жить", а в третьих, с помощью денег эту проблему можно сильно смягчить, а крайнем случае на лето можно поехать в место похолоднее (для этого надо быть удалёнщиком или стать финансово независимым, опять же). Из того же Дубайска летом все белые люди улетают.
Есть ещё один класс аргументов. Назовём его "я люблю, когда меня перестают бить палкой по голове" - это все те люди, которые любят зиму, потому что она позволяет им получать удовольствие от тепла - пить горячий кофе, отогревать ноги у батареи и т.д. Это их священное право, но, как я сказал, такому человеку нельзя доверять - когда вы спрашиваете "Как тебе Петербург?" - вы хотите знать реальный уровень комфорта, а не то, что человек получал удовольствие, улетая из него.
А какой климат предпочитаете вы?
@knowledge_accumulator
Как AI Safety увеличивает вероятность AI-апокалипсиса
Если вы регулярно летаете на самолётах и у вас большой опыт прохождения досмотров, то со временем вы начинаете замечать - что-то с этой системой не так.
Процессы отличаются в разных местах, причём пересечение этих проверок почти пустое. Недавно нам с женой предложили выбрать очередь - одна покороче, но там заставляют вытаскивать ноутбук, а другая подлиннее, где не нужно. Я слышал, что один террорист не смог устоять перед искушением, и в итоге попался.
Интуиция не подводит - эта система безопасности на самом деле не работает. В 2015 году в США одно из агенств провело 70 организованных попыток пронести оружие и фейковую взрывчатку, и добилось успеха 67 раз.
Насколько я понял, с тех пор данные решили перестать публиковать. В сабреддите
К чему это я? Человечество не способно создавать системы, которые работают с маленькими рисками. Во всех сферах жизни можно наблюдать закономерность - если какое-то событие происходит редко, то деятельность, касающаяся рисков этого события, неизбежно деградирует. Жители России ежедневно наслаждаются театром безопасности, проходя через неработающие рамки в метро.
У этих мер нулевой положительный эффект, но есть и негативная сторона - они создают иллюзию безопасности. Если мы якобы поймаем любого террориста на входе в метро или ТЦ, зачем загружаться и ловить их перед этим?
Именно к этому мы идём и в сфере AI-рисков. Начитавшись Sci-Fi про AI-апокалипсис, люди решили работать на опережение и наплодили кучу AI Safety исследователей. Их деятельность уже сейчас напоминает цирк - пример симуляции деятельности от Antropic я разбирал несколько недель назад.
Так как LLM и агенты - это обученные на человеческой разметке генераторы текстов - и не представляют бОльшую опасность, чем сам человек, то тысячи AI-Safety-паразитов сегодня всерьёз занимаются изучением того, как чат-бот может кинуть зигу или стырить файл, если его об этом не совсем напрямую попросить.
Перед релизом каждого следующего чат-бота лидеры индустрии запускают одну и ту же пластинку - "Ооо, наша модель такая опасная, мы так боимся её выпускать, она несёт такие риски". Напомню - первый раз это произошло аж во время релиза GPT-2 в 2019 году.
Наблюдатели со стороны с течением времени сделают справедливый вывод - все их разговоры про опасность - хуйня, и нужны они лишь для набивания цены и толкания государств к ограничению конкуренции.
Но самое смешное во всей этой ситуации то, что AI-апокалипсис - это вполне реальный риск. Достаточно мощный алгоритм, если его неправильно задизайнить или использовать, действительно может быть опаснее человека. Это правда может быть сопоставимо с ядерной бомбой. Алгоритм может поставить под удар всё человечество.
Однако, обстоятельства, в которых этот риск в принципе имеет смысл, ещё не наступили. И самая большая катастрофа произойдёт в случае, если они наступят, а в этот момент инженеры решат подключить AI-Safety-ресёрчеров, которые всю жизнь посвятили борьбе с "AI-рисками".
Проработав всю жизнь с оценкой взрывоопасности муляжей бомб, они применят свои навыки - нажмут на кнопку взрыва, ожидая, что, как обычно, ничего не произойдёт, и они смогут написать про это статью на 30 страниц. Но в этот раз оно произойдёт. Нейротоксина хватит на всех.
@knowledge_accumulator
Если вы регулярно летаете на самолётах и у вас большой опыт прохождения досмотров, то со временем вы начинаете замечать - что-то с этой системой не так.
Процессы отличаются в разных местах, причём пересечение этих проверок почти пустое. Недавно нам с женой предложили выбрать очередь - одна покороче, но там заставляют вытаскивать ноутбук, а другая подлиннее, где не нужно. Я слышал, что один террорист не смог устоять перед искушением, и в итоге попался.
Интуиция не подводит - эта система безопасности на самом деле не работает. В 2015 году в США одно из агенств провело 70 организованных попыток пронести оружие и фейковую взрывчатку, и добилось успеха 67 раз.
Насколько я понял, с тех пор данные решили перестать публиковать. В сабреддите
r/tsa представитель самой обрыганской профессии на свете опубликовал жалобный пост о том, что люди до сих пор приводят статистику 10 летней давности, но сейчас-то технологии скакнули! Верим.К чему это я? Человечество не способно создавать системы, которые работают с маленькими рисками. Во всех сферах жизни можно наблюдать закономерность - если какое-то событие происходит редко, то деятельность, касающаяся рисков этого события, неизбежно деградирует. Жители России ежедневно наслаждаются театром безопасности, проходя через неработающие рамки в метро.
У этих мер нулевой положительный эффект, но есть и негативная сторона - они создают иллюзию безопасности. Если мы якобы поймаем любого террориста на входе в метро или ТЦ, зачем загружаться и ловить их перед этим?
Именно к этому мы идём и в сфере AI-рисков. Начитавшись Sci-Fi про AI-апокалипсис, люди решили работать на опережение и наплодили кучу AI Safety исследователей. Их деятельность уже сейчас напоминает цирк - пример симуляции деятельности от Antropic я разбирал несколько недель назад.
Так как LLM и агенты - это обученные на человеческой разметке генераторы текстов - и не представляют бОльшую опасность, чем сам человек, то тысячи AI-Safety-паразитов сегодня всерьёз занимаются изучением того, как чат-бот может кинуть зигу или стырить файл, если его об этом не совсем напрямую попросить.
Перед релизом каждого следующего чат-бота лидеры индустрии запускают одну и ту же пластинку - "Ооо, наша модель такая опасная, мы так боимся её выпускать, она несёт такие риски". Напомню - первый раз это произошло аж во время релиза GPT-2 в 2019 году.
Наблюдатели со стороны с течением времени сделают справедливый вывод - все их разговоры про опасность - хуйня, и нужны они лишь для набивания цены и толкания государств к ограничению конкуренции.
Но самое смешное во всей этой ситуации то, что AI-апокалипсис - это вполне реальный риск. Достаточно мощный алгоритм, если его неправильно задизайнить или использовать, действительно может быть опаснее человека. Это правда может быть сопоставимо с ядерной бомбой. Алгоритм может поставить под удар всё человечество.
Однако, обстоятельства, в которых этот риск в принципе имеет смысл, ещё не наступили. И самая большая катастрофа произойдёт в случае, если они наступят, а в этот момент инженеры решат подключить AI-Safety-ресёрчеров, которые всю жизнь посвятили борьбе с "AI-рисками".
Проработав всю жизнь с оценкой взрывоопасности муляжей бомб, они применят свои навыки - нажмут на кнопку взрыва, ожидая, что, как обычно, ничего не произойдёт, и они смогут написать про это статью на 30 страниц. Но в этот раз оно произойдёт. Нейротоксина хватит на всех.
@knowledge_accumulator