Forwarded from Блог*
#cinema #video
This Invention Made Disney MILLIONS, but Then They LOST It!
Да, заголовок кликбейтный, но отчасти справедливый.
В современном кинопроизводстве широко используется техника зелёного экрана. Концептуально подход прост: снимаем актёров и действие на фоне цвета, который есть только на фоне, а потом при обработке удаляем его и получаем только передний план, к которому можно подставить любой фон. К сожалению, у этого подхода есть ряд недостатков. Именно, отделить цвет экрана от всего остального иногда поразительно сложно. У нужных элементов могут быть цвета, близкие к цвету экрана, отделение экрана от тонких деталей типа волос крайне сложно и толком не автоматизируется, на блестящих объектах могут быть отблески экрана, отделение экрана в присутствии элементов, которые размыты из-за движения, затруднено. Ну и из-за сложности в обработке с зелёным экраном крайне сложно снимать полупрозрачные вещи.
Несколько десятилетий назад Disney выпустил фильм, в котором при помощи монтажа был подставлен другой фон для съёмок. При этом актёры активно двигались, а некоторые носили полупрозрачные элементы одежды. Тем не менее, в картинке не было присущих гринскрину артефактов. Как же они это сделали?
Для того, чтобы добиться этого результата, создатели фильма фактически сделали более точную вариацию на тему зелёного экрана. Именно, они освещали фон лампой, работающей на парах натрия. Отличительной особенностью спектра натрия является то, что в видимой части спектра его излучение сконцентрировано в очень узкой полоске возле света с длиной волны 589 нанометров. Другие объекты на сцене могут всячески отражать, преломлять и поглощать (в том числе и частично) свет, но на длину электромагнитных волн это не влияет. А это значит, что для того, чтобы отделить фон от всего остального, достаточно отфильтровать из картинки свет со специфичной длиной волны.
Разумеется, для того, чтобы это работало, эту фильтрацию нужно проводить оптически до того, как она будет записана на носитель. Более того, чтобы поменять фон, недостаточно просто выделить передний план — нужна ещё и маска, которая покажет, где фона нет, а где он должен быть (в случае полупрозрачных объектов — ещё и в какой мере). Чтобы воплотить это в жизнь, для съёмок сделали специальную камеру. Она записывала две ленты плёнки сразу, раздельно фон и остальное, а для деления изображения использовалась специальная призма, внутри которой была плёнка, делящая свет на жёлтый свет натрия и всё остальное.
Технология не получила широкого распространения — отчасти из-за дороговизны оборудования (в то время), отчасти из-за того, что в Disney эти призмы умудрились... Потерять где-то в архивах. В наши дни воспроизвести аналогичный результат проще: можно взять две одинаковые камеры и использовать два светофильтра для того, чтобы выделять нужную часть для каждой. Ввиду развития технологий и того, что это не какие-то специальные сделанные на заказ компоненты, это было дешевле, чем несколько десятилетий назад. Этот подход проверили на практике, и выяснилось, что он даёт результаты лучше, чем зелёный экран, требуя при этом значительно меньше усилий в постобработке. Да, это уже надо смотреть.
(возможно, вам лично разница не покажется столь уж разительной, но этим занимались люди, которые на компьютерных эффектах собаку съели и точно тратили время на обработку кадров с гринскрином)
This Invention Made Disney MILLIONS, but Then They LOST It!
Да, заголовок кликбейтный, но отчасти справедливый.
В современном кинопроизводстве широко используется техника зелёного экрана. Концептуально подход прост: снимаем актёров и действие на фоне цвета, который есть только на фоне, а потом при обработке удаляем его и получаем только передний план, к которому можно подставить любой фон. К сожалению, у этого подхода есть ряд недостатков. Именно, отделить цвет экрана от всего остального иногда поразительно сложно. У нужных элементов могут быть цвета, близкие к цвету экрана, отделение экрана от тонких деталей типа волос крайне сложно и толком не автоматизируется, на блестящих объектах могут быть отблески экрана, отделение экрана в присутствии элементов, которые размыты из-за движения, затруднено. Ну и из-за сложности в обработке с зелёным экраном крайне сложно снимать полупрозрачные вещи.
Несколько десятилетий назад Disney выпустил фильм, в котором при помощи монтажа был подставлен другой фон для съёмок. При этом актёры активно двигались, а некоторые носили полупрозрачные элементы одежды. Тем не менее, в картинке не было присущих гринскрину артефактов. Как же они это сделали?
Для того, чтобы добиться этого результата, создатели фильма фактически сделали более точную вариацию на тему зелёного экрана. Именно, они освещали фон лампой, работающей на парах натрия. Отличительной особенностью спектра натрия является то, что в видимой части спектра его излучение сконцентрировано в очень узкой полоске возле света с длиной волны 589 нанометров. Другие объекты на сцене могут всячески отражать, преломлять и поглощать (в том числе и частично) свет, но на длину электромагнитных волн это не влияет. А это значит, что для того, чтобы отделить фон от всего остального, достаточно отфильтровать из картинки свет со специфичной длиной волны.
Разумеется, для того, чтобы это работало, эту фильтрацию нужно проводить оптически до того, как она будет записана на носитель. Более того, чтобы поменять фон, недостаточно просто выделить передний план — нужна ещё и маска, которая покажет, где фона нет, а где он должен быть (в случае полупрозрачных объектов — ещё и в какой мере). Чтобы воплотить это в жизнь, для съёмок сделали специальную камеру. Она записывала две ленты плёнки сразу, раздельно фон и остальное, а для деления изображения использовалась специальная призма, внутри которой была плёнка, делящая свет на жёлтый свет натрия и всё остальное.
Технология не получила широкого распространения — отчасти из-за дороговизны оборудования (в то время), отчасти из-за того, что в Disney эти призмы умудрились... Потерять где-то в архивах. В наши дни воспроизвести аналогичный результат проще: можно взять две одинаковые камеры и использовать два светофильтра для того, чтобы выделять нужную часть для каждой. Ввиду развития технологий и того, что это не какие-то специальные сделанные на заказ компоненты, это было дешевле, чем несколько десятилетий назад. Этот подход проверили на практике, и выяснилось, что он даёт результаты лучше, чем зелёный экран, требуя при этом значительно меньше усилий в постобработке. Да, это уже надо смотреть.
(возможно, вам лично разница не покажется столь уж разительной, но этим занимались люди, которые на компьютерных эффектах собаку съели и точно тратили время на обработку кадров с гринскрином)
YouTube
This Invention Made Disney MILLIONS, but Then They LOST It!
Squarespace ► Head to http://squarespace.com/corridorcrew to save 10% off your first purchase!
Our videos are made possible by Members of CorridorDigital, our Exclusive Streaming Service! Try a membership yourself with a 14-Day Free Trial ► http://corr…
Our videos are made possible by Members of CorridorDigital, our Exclusive Streaming Service! Try a membership yourself with a 14-Day Free Trial ► http://corr…
optorepost
#cinema #video This Invention Made Disney MILLIONS, but Then They LOST It! Да, заголовок кликбейтный, но отчасти справедливый. В современном кинопроизводстве широко используется техника зелёного экрана. Концептуально подход прост: снимаем актёров и действие…
Отлично видео, очень крутая технология, странно что всякие Marvel её не используют.
Ещё на эту тему крайне советую почитать про Пленоптику: https://habr.com/ru/articles/440652/. Это технология, когда видео снимается на тысячу мелких камер, за счёт чего потом можно вычислить разное фокусное рассстояние, карту глубины и сделать точно такой же эффект "идеального зелёного экрана".
Мне кажется пленоптика очень хорошо совместится с недавней разработкой в области ML: NERF или более крутой Gaussian Splatting.
Так что ждём инноваций⏰
Ещё на эту тему крайне советую почитать про Пленоптику: https://habr.com/ru/articles/440652/. Это технология, когда видео снимается на тысячу мелких камер, за счёт чего потом можно вычислить разное фокусное рассстояние, карту глубины и сделать точно такой же эффект "идеального зелёного экрана".
Мне кажется пленоптика очень хорошо совместится с недавней разработкой в области ML: NERF или более крутой Gaussian Splatting.
Так что ждём инноваций
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Вычисляемое видео в 755 мегапикселей: пленоптика вчера, сегодня и завтра
Какое-то время назад автору довелось читать лекцию во ВГИК, и в аудитории было много людей с операторского факультета. Аудитории был задан вопрос: «С каким максимальным разрешением вы снимали?», и...
Кайфовый видос про кодинг симуляции жидкости. Здесь автор больше добивается визуального эффекта, чем физической точности, благодаря чему видео получилось менее душным, чем могло бы быть.
Интересно, что симуляция жидкости - это по сути аппроксимация настоящей жидкости через частицы, которые обозначают кластеры молекул. Видимо никто не симулирует жидкость на обычных сталкивающихся частицах.
https://youtu.be/rSKMYc1CQHE
Интересно, что симуляция жидкости - это по сути аппроксимация настоящей жидкости через частицы, которые обозначают кластеры молекул. Видимо никто не симулирует жидкость на обычных сталкивающихся частицах.
https://youtu.be/rSKMYc1CQHE
YouTube
Coding Adventure: Simulating Fluids
Let's try to convince a bunch of particles to behave (at least somewhat) like water.
Written in C# and HLSL, and running inside the Unity engine.
Source code:
https://github.com/SebLague/Fluid-Sim
If you'd like to support me in creating more videos like…
Written in C# and HLSL, and running inside the Unity engine.
Source code:
https://github.com/SebLague/Fluid-Sim
If you'd like to support me in creating more videos like…
Очень годный видос про чёрные дыры с точки зрения математики теории относительности: какие уравнения там используются, как они были выведены и какие у них есть ограничения.
Я много всякого про теорию относительности пересмотрел, и это прям годнота-годнота. Много новой информации.
https://youtu.be/6akmv1bsz1M
Я много всякого про теорию относительности пересмотрел, и это прям годнота-годнота. Много новой информации.
https://youtu.be/6akmv1bsz1M
YouTube
Something Strange Happens When You Follow Einstein's Math
Einstein was wrong about black holes, what else? Use code veritasium at the link below to get an exclusive 60% off an annual Incogni plan: https://incogni.com/veritasium
A massive thank you to Prof. Geraint F. Lewis and Prof. Juan Maldacena for their expertise…
A massive thank you to Prof. Geraint F. Lewis and Prof. Juan Maldacena for their expertise…
Отличное видео про эффекты теории относительности в Интерстелларе. Понравилось что некоторые эффекты приукрашены, а некоторые очень реалистичны. Ещё я очень кайфанул от визуализаций, особенно от визуализации червоточины на 5й минуте. Прям ухх. Рекомендую.
К сожалению это перезалив из-за того что прошлое видео нарушило авторские права, поэтому так мало просмотров(
https://youtu.be/ABFGKdKKKyg
К сожалению это перезалив из-за того что прошлое видео нарушило авторские права, поэтому так мало просмотров(
https://youtu.be/ABFGKdKKKyg
YouTube
Let's reproduce the calculations from Interstellar
Is the movie Interstellar realistic? Can we reproduce the black hole simulations? What would it look like to travel through a wormhole? All these answers in 26 minutes!
0:00 - Introduction
1:46 - The journey
2:52 - The Endurance
4:33 - Simulating a wormhole…
0:00 - Introduction
1:46 - The journey
2:52 - The Endurance
4:33 - Simulating a wormhole…
Маленькая задачка на 5 минут из области "что будет в высших измерениях". Решение немного выносит мозг, максимально контринтуитивно.
https://youtu.be/sZqGWy0hxe8
https://youtu.be/sZqGWy0hxe8
YouTube
FINALLY! A Good Visualization of Higher Dimensions
ТехноШаман выпустил очень годный видос про его самую долгую симуляцию эволюции. Не пугайтесь что это седьмая часть, предварительно знать ничего не нужно, там всё объясняется.
Там есть осцилляция хищников и жертв и даже паразиты! Ещё мне понравились моменты когда проводились параллели с уже известными результатами эволюции на нашей планете.
https://youtu.be/oB0NTtZ_9lI
Там есть осцилляция хищников и жертв и даже паразиты! Ещё мне понравились моменты когда проводились параллели с уже известными результатами эволюции на нашей планете.
https://youtu.be/oB0NTtZ_9lI
YouTube
Искусственная жизнь. Борьба кланов 7.
Продолжаю эксперименты с моделью, где происходит эволюция виртуальных организмов. Больший упор сделан не на сами организмы, а на экосистемы которые возникают.
Эксперименты с этой и с другими моделями показывают, что экосистема стремиться достичь стабильного…
Эксперименты с этой и с другими моделями показывают, что экосистема стремиться достичь стабильного…
Видео, заголовок которого звучит не так впечатляюще: "Сделал 3D уровень в 2D игре". Ну сделал, и сделал, запрограммировал наверное как-то. Все мы писали рейтрейсинги всякие.
Но нет. Проблема в том, что здесь есть очень много ограничений, из-за которых автор пошёл на такую смекалку, что в один момент я начал истерически смеяться (на моменте с генетическим алгоритмом 🙃). Если вам интересно кайфануть от решений невозможных проблем, безумия автора и просто весёлого видео с грамотной музыкой, то рекомендую к просмотру.
https://youtu.be/Qvlb-Yo6Rqo
Но нет. Проблема в том, что здесь есть очень много ограничений, из-за которых автор пошёл на такую смекалку, что в один момент я начал истерически смеяться (на моменте с генетическим алгоритмом 🙃). Если вам интересно кайфануть от решений невозможных проблем, безумия автора и просто весёлого видео с грамотной музыкой, то рекомендую к просмотру.
https://youtu.be/Qvlb-Yo6Rqo
YouTube
How I made a 3D Level in a 2D Game
Full level: https://www.youtube.com/watch?v=xu1wRfUHtKg
Music credits:
cYsmix: https://cysmix.bandcamp.com/
Patricia Taxxon: https://patriciataxxon.bandcamp.com/
Lemmino: https://www.youtube.com/@LEMMiNOMusic
C418: https://c418.bandcamp.com/
Gareth Coker:…
Music credits:
cYsmix: https://cysmix.bandcamp.com/
Patricia Taxxon: https://patriciataxxon.bandcamp.com/
Lemmino: https://www.youtube.com/@LEMMiNOMusic
C418: https://c418.bandcamp.com/
Gareth Coker:…
Видео про необычную категорию узлов - бесконечные узлы (9 мин).
Очень прикольная штука, и немного абсурдная, например не-узел (unknot) можно свернуть таким бесконечным образом, что он будет tri-colorable (а это один из критериев узла трилистника, например), и его невозможно будет развязать (потому что он бесконечный). То есть не-узел по всем критериям является узлом 🙃.
Мне это напомнило рогатую сферу Александера, тоже классный объект.
А ещё помните в последнем видео про порталы я говорил что больше нет смысла делать какие-то порталы из узлов, потому что они не будут чем-то принципиально отличаться от узла трилистника? Так вот, эти отличаются принципиально, и у меня уже есть идея как его сделать в виде портала))) Кто-нибудь догадается как? На размышление даётся 30 секунд😀
https://www.youtube.com/watch?v=o7U3yvMF8Sw
Очень прикольная штука, и немного абсурдная, например не-узел (unknot) можно свернуть таким бесконечным образом, что он будет tri-colorable (а это один из критериев узла трилистника, например), и его невозможно будет развязать (потому что он бесконечный). То есть не-узел по всем критериям является узлом 🙃.
Мне это напомнило рогатую сферу Александера, тоже классный объект.
А ещё помните в последнем видео про порталы я говорил что больше нет смысла делать какие-то порталы из узлов, потому что они не будут чем-то принципиально отличаться от узла трилистника? Так вот, эти отличаются принципиально, и у меня уже есть идея как его сделать в виде портала))) Кто-нибудь догадается как? На размышление даётся 30 секунд
https://www.youtube.com/watch?v=o7U3yvMF8Sw
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Wild knots
A video about some infinitely complicated, fractal knots.
The paper by Ralph Fox is:
"A remarkable simple closed curve", Ann. of Math., (2) 50, 264-265.
https://www.jstor.org/stable/1969450
Hsin-Po Wang (https://www.instagram.com/symbolone1) came up with…
The paper by Ralph Fox is:
"A remarkable simple closed curve", Ann. of Math., (2) 50, 264-265.
https://www.jstor.org/stable/1969450
Hsin-Po Wang (https://www.instagram.com/symbolone1) came up with…
В этом видео видеоблоггер по майнкрафту решил испытать самый лучший мод к майнкрафту под названием "реальная жизнь" и выплавить железо самостоятельно, с нуля, найдя всё необходимое в реке!
Там на канале есть ещё 2 других видео, и я их просто залпом посмотрел 🤩.
Вот так люди благодаря майнкрафту и становятся инженерами, металлургами и программистами👍
https://www.youtube.com/watch?v=9EcexUTUrCQ
Там на канале есть ещё 2 других видео, и я их просто залпом посмотрел 🤩.
Вот так люди благодаря майнкрафту и становятся инженерами, металлургами и программистами
https://www.youtube.com/watch?v=9EcexUTUrCQ
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Добываю железо из реки, опираясь на знания из мода Terrafirmacraft
Я попробую выплавить железо из руды, найденной на дне русла реки! Как я искал руду, как строил сыродутный горн, и многое другое - смотрите в этом видео.
Основная цель этого эксперимента - определить, что за камни я обнаружил, и проверить технологию выплавки…
Основная цель этого эксперимента - определить, что за камни я обнаружил, и проверить технологию выплавки…
Шикарное видео про обучение нейронки балансированию двойного маятника. Обучается через генетический алгоритм. Вроде бы простая задача, простое решение, но очень глубоко. А в какой-то момент автор придумал гениальное решение, когда его система перестала обучаться.
Я посмотрел очень много подобных видео, и вообще погружался в тему, и это видео одно из достойнейших. Так что реально рекомендую.
На самом деле это вторая часть, и там есть первая с контекстом и историей. Ради второй стоит посмотреть и первую (https://www.youtube.com/watch?v=EvV5Qtp_fYg).
https://youtu.be/9gQQAO4I1Ck (это вторая)
#видео
Я посмотрел очень много подобных видео, и вообще погружался в тему, и это видео одно из достойнейших. Так что реально рекомендую.
На самом деле это вторая часть, и там есть первая с контекстом и историей. Ради второй стоит посмотреть и первую (https://www.youtube.com/watch?v=EvV5Qtp_fYg).
https://youtu.be/9gQQAO4I1Ck (это вторая)
#видео
YouTube
How to train simple AIs to balance a double pendulum
Previous video: https://youtu.be/EvV5Qtp_fYg
XPBD article: https://matthias-research.github.io/pages/publications/XPBD.pdf
Github https://github.com/johnBuffer/Pendulum-NEAT
Music used (in order of appearance):
- Winterbeams by Diffie Bosman
- Empyrean…
XPBD article: https://matthias-research.github.io/pages/publications/XPBD.pdf
Github https://github.com/johnBuffer/Pendulum-NEAT
Music used (in order of appearance):
- Winterbeams by Diffie Bosman
- Empyrean…
ТехноШаман выпустил прям фундаментальную работу в области симуляции эволюции. Здесь он на простых моделях сравнивает бесполое и половое размножение, кто из них лучше работает и почему. Сравнивает как это работает для разных размеров популяций и разной вероятности мутаций.
Давно на ютубе не видел такого глубокого анализа, всё видео чисто кайфовал и получал концентрированные знания. Особенно в конце понравились замечания про ограничения этих моделей.
Рекомендую смотреть всем независимо от пола, возраста и вашего способа размножения.
https://youtu.be/UNKlsr6Bf2s
#видео
Давно на ютубе не видел такого глубокого анализа, всё видео чисто кайфовал и получал концентрированные знания. Особенно в конце понравились замечания про ограничения этих моделей.
Рекомендую смотреть всем независимо от пола, возраста и вашего способа размножения.
https://youtu.be/UNKlsr6Bf2s
#видео
YouTube
Сравнение полового и бесполого размножения на простых моделях.
В чём преимущество полового размножения над бесполым?
На простых моделях показана выгода полового размножения.
Стоить отметить, что большинство организмов, у которых нет полового размножения, используют другие способы обмена генами.
С интерактивными моделями…
На простых моделях показана выгода полового размножения.
Стоить отметить, что большинство организмов, у которых нет полового размножения, используют другие способы обмена генами.
С интерактивными моделями…
Чувак уже делает третью версию нейронки, которая обучается кататься в игре trackmania, очень интересный прогресс, в этот раз она прям хороша. На каждой новой карте заново обучает нейронку, и использует Reinforcement Learning, а именно некий алгоритм IQN, надо бы о нём почитать. Нейронка на вход получает скриншоты, так что очень даже честный и интересный метод. Это мгновенная подписка, жду когда он будет делать нейронку, которая умеет кататься на куче других карт.
https://youtu.be/cUojVsCJ51I
#видео
https://youtu.be/cUojVsCJ51I
#видео
YouTube
I Trained an AI for 2 Years on Trackmania. It's Breaking Records.
I trained an AI that plays Trackmania with reinforcement learning. It's getting good enough to challenge Official World Records. This is the story of how my AI reached such an incredible level.
Link to raw run playlist: https://www.youtube.com/playlist?list=PLZ…
Link to raw run playlist: https://www.youtube.com/playlist?list=PLZ…
В этом видео объясняется история понимания того почему именно задача трёх тел является нерешаемой, рассказывается про то как Пуанкаре исследовал упрощённую версию этой задачи и обнаружил конкретную причину почему возникает хаос. Прикольно и познавательно. Советую пролистывать всякие очевидные и понятные части.
https://youtu.be/l2wnqlcOL9A
#видео
https://youtu.be/l2wnqlcOL9A
#видео
YouTube
The REAL Three Body Problem in Physics
👉 To try everything Brilliant has to offer for free for a full 30 days, visit https://brilliant.org/upandatom. You’ll also get 20% off an annual premium subscription.
Thank you to Dr. Shane Ross for all of your help and consultation with this video. It wouldn't…
Thank you to Dr. Shane Ross for all of your help and consultation with this video. It wouldn't…
Автор этого видео захотел сделать майнкрафт на апериодическом замощении! Вы наверняка знаете про апериодическое замощение на 2D, но вот для 3D вряд ли слышали. В этом видео автор рассказывает как раз про него.
По сути это больше видео про апериодическое замощение в 3D, чем про майнкрафт и то что автор сделал. Рекомендую смотреть первые 8 минут, остальное вам не нужно.
https://youtu.be/15LTqvZtrMo
#видео
По сути это больше видео про апериодическое замощение в 3D, чем про майнкрафт и то что автор сделал. Рекомендую смотреть первые 8 минут, остальное вам не нужно.
https://youtu.be/15LTqvZtrMo
#видео
YouTube
6D minecraft? - Aperiodic Voxel Game devlog#1
The intro music is aperiodic too, played by me on a broken cello. The rest of the background music was a public domain recording of Beethoven Sonata no. 1, played by Daniel Veesey.
Development for this game started in Processing, but I felt I was writing…
Development for this game started in Processing, but I felt I was writing…
Недавно прослушал книгу "Война с саламандрами", и ставлю этой книге твёрдую оценку +1.5 по моей шкале.
Это книга в жанре фантастики, написанная в 1936 году. Написал её Карел Чапек, на минуточку, автор слова "робот"! Рекомендую прочитать всем, кто любит научную фантастику. Можно сказать, это классика.
Далее, о ней я старался написать максимально без спойлеров, начиная с завязки, но кто любит вообще без спойлеров - не читайте.
Завязка книги в том, что люди обнаружили очень смышлённых животных - особых саламандр, метр ростом. А далее начали использовать их в своих целях, обучать разному труду, а саламандры стали становиться всё умнее и умнее за счёт постижения человеческой культуры. Книга повествует об этом процессе, и как это, в конечном счёте, привело к войне.
В книге нет какого-то особого развития персонажей, и в целом персонажей, так что это не для любителей людей. Книга больше про идею, про сюжет, про историю. Поэтому местами может быть не так захватывающе, как другие книги, но всё-равно очень интересно.
Книга является настоящей фантастикой, потому что она вводит какой-то необычный, но вполне реальный элемент и исследует как он повлияет на мир. Такое очень редко встретишь, щас очень много фантастики не про идею, а про людей в бесполезном фантастическом сеттинге. Причём в некоторых произведениях толком ничего бы принципиально не поменялось, замени фантастику на средневековье с магией.
И в какой-то степени книга очень похожа на рассуждения современных авторов о порабощении людей роботами. Прям читаешь и диву даёшься, что это написано в 1936 году! А в одном месте даже было **невероятно** похоже на современные LLM! Кто прочитает - отпишитесь, как думаете в каком месте, под спойлером))
#книга
Это книга в жанре фантастики, написанная в 1936 году. Написал её Карел Чапек, на минуточку, автор слова "робот"! Рекомендую прочитать всем, кто любит научную фантастику. Можно сказать, это классика.
Далее, о ней я старался написать максимально без спойлеров, начиная с завязки, но кто любит вообще без спойлеров - не читайте.
В книге нет какого-то особого развития персонажей, и в целом персонажей, так что это не для любителей людей. Книга больше про идею, про сюжет, про историю. Поэтому местами может быть не так захватывающе, как другие книги, но всё-равно очень интересно.
Книга является настоящей фантастикой, потому что она вводит какой-то необычный, но вполне реальный элемент и исследует как он повлияет на мир. Такое очень редко встретишь, щас очень много фантастики не про идею, а про людей в бесполезном фантастическом сеттинге. Причём в некоторых произведениях толком ничего бы принципиально не поменялось, замени фантастику на средневековье с магией.
И в какой-то степени книга очень похожа на рассуждения современных авторов о порабощении людей роботами. Прям читаешь и диву даёшься, что это написано в 1936 году! А в одном месте даже было **невероятно** похоже на современные LLM! Кто прочитает - отпишитесь, как думаете в каком месте, под спойлером))
#книга
Forwarded from Боря программирует
Physics of Language Models
Я в своей жизни ML занимался довольно мало, но в последнее время решил все-таки по-лучше разобраться. Так что иногда (частота зависит от количества лайков 👍) буду постить краткие пересказы статей/докладов, которые мне показались интересными.
Мне очень не нравится идея смотреть на LLM, как на какой-то черный ящик, который каким-то магическим образом учится, и, нужно всего лишь увеличить количество параметров в нем, обучить на большем количестве данных, и тогда он станет гораздо умнее и вдруг научится решать всякие задачи.
В докладе Physics of language models авторы тренируют относительно маленькие модели (100М параметров) на синтетических данных, и смотрят, какие задачи LLM могут решать, а какие нет.
Например, оказывается что LLM даже теоретически не могут научиться отвечать на вопрос вида "Правда ли, что Байден родился в четном году?" при том, что они прекрасно знают в каком году он родился, и знают, какие числа четные. Оказывается, что дело в порядке токенов. Если бы ответ был в формате "Байден родился в году 1942, это четное число, ответ да", то все бы работало. Но если хочется получить ответ в формате "Да, потому что он родился в ...", то в момент написания первого токена у LLM еще не будет числа 1942 "в контексте" и она не сможет выбрать правильный ответ. И такая проблема есть у любых моделей вне зависимости от размера.
По аналогичным соображениям, если в датасете было написано только "X родился в городе Y", то модель никогда не сможет научиться правильно отвечать на обратный вопрос "кто родился в городе Y?" (потому что в "памяти" модели будет мапинг X->Y, но не в обратную сторону).
Еще из прикольного в докладе показывают, что можно обучить текстовую модель делать топологическую сортировку графа. При этом можно проследить, что в "состоянии" модели во время инференса действительно будет храниться множество посещенных вершин и тех вершин, которые можно посетить на следующем шагу.
Я в своей жизни ML занимался довольно мало, но в последнее время решил все-таки по-лучше разобраться. Так что иногда (частота зависит от количества лайков 👍) буду постить краткие пересказы статей/докладов, которые мне показались интересными.
Мне очень не нравится идея смотреть на LLM, как на какой-то черный ящик, который каким-то магическим образом учится, и, нужно всего лишь увеличить количество параметров в нем, обучить на большем количестве данных, и тогда он станет гораздо умнее и вдруг научится решать всякие задачи.
В докладе Physics of language models авторы тренируют относительно маленькие модели (100М параметров) на синтетических данных, и смотрят, какие задачи LLM могут решать, а какие нет.
Например, оказывается что LLM даже теоретически не могут научиться отвечать на вопрос вида "Правда ли, что Байден родился в четном году?" при том, что они прекрасно знают в каком году он родился, и знают, какие числа четные. Оказывается, что дело в порядке токенов. Если бы ответ был в формате "Байден родился в году 1942, это четное число, ответ да", то все бы работало. Но если хочется получить ответ в формате "Да, потому что он родился в ...", то в момент написания первого токена у LLM еще не будет числа 1942 "в контексте" и она не сможет выбрать правильный ответ. И такая проблема есть у любых моделей вне зависимости от размера.
По аналогичным соображениям, если в датасете было написано только "X родился в городе Y", то модель никогда не сможет научиться правильно отвечать на обратный вопрос "кто родился в городе Y?" (потому что в "памяти" модели будет мапинг X->Y, но не в обратную сторону).
Еще из прикольного в докладе показывают, что можно обучить текстовую модель делать топологическую сортировку графа. При этом можно проследить, что в "состоянии" модели во время инференса действительно будет храниться множество посещенных вершин и тех вершин, которые можно посетить на следующем шагу.
Хороший, глубокий анализ концепции космического лифта, с научными работами и собственными расчётами от автора. Интересовался этой темой, и даже смотрел на английском ютубе всякое, но это самый крутой видос
https://youtu.be/fdG8SGumNOg
#видео
https://youtu.be/fdG8SGumNOg
#видео
YouTube
Космический лифт [Взлетит / Не взлетит]
Стремление к звёздам у человека иногда обретает очень интересные формы. Идея космического лифта как альтернативы ракетам существует уже 60 лет, и рассматривается весьма серьёзно, вплоть до планов его постройки в обозримом будущем. Но так ли он осуществим?…