Спустя сутки тестирования, можно смело сказать что R1 это очередной прорыв. За последние 3 года в ИИ прорывы обычно идут волнообразно: новые способности моделей (SD, GPT-4), а затем существенная оптимизация (mini, 4o, SDXL).
R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели.
Главное отличие от стандартного метода — в использовании RL вместо условно "ручного" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком.
Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет "погодите, погодите, вот оно, я поняла!".
Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI — поэтому, в отличии от китайцев, деталей мы не узнаем.
R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели.
Главное отличие от стандартного метода — в использовании RL вместо условно "ручного" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком.
Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет "погодите, погодите, вот оно, я поняла!".
Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI — поэтому, в отличии от китайцев, деталей мы не узнаем.
group-telegram.com/cryptoEssay/2202
Create:
Last Update:
Last Update:
Спустя сутки тестирования, можно смело сказать что R1 это очередной прорыв. За последние 3 года в ИИ прорывы обычно идут волнообразно: новые способности моделей (SD, GPT-4), а затем существенная оптимизация (mini, 4o, SDXL).
R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели.
Главное отличие от стандартного метода — в использовании RL вместо условно "ручного" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком.
Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет "погодите, погодите, вот оно, я поняла!".
Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI — поэтому, в отличии от китайцев, деталей мы не узнаем.
R1 по независимым бенчамаркам действительно показал очень близкие (где-то даже несущественно опережающие) результат по сравнению с сегодняшней SotA моделью o1. При этом, больше чем в 30 раз дешевле, полностью открытые веса, можно запускать локально, дистиллят для микроволновок (работает на любом M4+) и подробный очень классный пейпер с описанием процесса разработки модели.
Главное отличие от стандартного метода — в использовании RL вместо условно "ручного" обучения через SFT. То есть, цепочки рассуждения и самопроверки генерируются моделью без использования примеров, заранее подготовленных человеком.
Другими словами, модель научилась рассуждать и делать reasoning сама, без предварительного обучения реальными примерами. Так же как это сделал AlphaGo или AlphaZero. Интересный пример в пейпере, где модель пытается решить сложную задачу и пишет "погодите, погодите, вот оно, я поняла!".
Эта рахитектура показывает что технически модели могут открывать знание и обучаться самостоятельно. В теории этому нет предела, и такой подход куда более масштабируем чем SFT. Я не удивлюсь, если о1-о3 модели были созданы примерно так же, но то ведь легендарно открытый OpenAI — поэтому, в отличии от китайцев, деталей мы не узнаем.
BY e/acc
Share with your friend now:
group-telegram.com/cryptoEssay/2202