Некоторое время назад я прикидывал на коленке и у меня получалось, что test-time compute это вообще не выгодная по деньгам история. Когда ты тренируешь модель за дорого это делается один раз, а далее идет дешевый инференс. Грубо говоря как здание: построил и сдаешь в аренду. При любых capital expenses рано или поздно затраты отбиваются и чем больше у тебя клиентов, тем быстрее.
Это так же обеспечивало разделение труда и (сейчас будет базворд) демократизацию. Кто-то за огромные деньги обучил LLAMA, а ты её скачал и запускаешь на ноуте.
Если на этапе инференса тоже надо тратить сопоставимый по порядку с обучением компьют то вся прелесть схемы ломается. Чем больше у тебя клиентов тем больше нужно компьюта. Тем меньше у тебя ресурсов на обучение новых моделей. К тому же демократизация убивается полностью: такие модели доступны только тем, кто может постоянно использовать много компьюта.
После выхода о1 был спор про экономику test-time compute. Мне кажется безумные цены о3 говорят, что экономика в текущем виде неподъёмная.
Но я думаю мы скоро увидим как стоимость сильно упадет (когда Гугл сделает как у OpenAI, но лучше и дешевле).
Некоторое время назад я прикидывал на коленке и у меня получалось, что test-time compute это вообще не выгодная по деньгам история. Когда ты тренируешь модель за дорого это делается один раз, а далее идет дешевый инференс. Грубо говоря как здание: построил и сдаешь в аренду. При любых capital expenses рано или поздно затраты отбиваются и чем больше у тебя клиентов, тем быстрее.
Это так же обеспечивало разделение труда и (сейчас будет базворд) демократизацию. Кто-то за огромные деньги обучил LLAMA, а ты её скачал и запускаешь на ноуте.
Если на этапе инференса тоже надо тратить сопоставимый по порядку с обучением компьют то вся прелесть схемы ломается. Чем больше у тебя клиентов тем больше нужно компьюта. Тем меньше у тебя ресурсов на обучение новых моделей. К тому же демократизация убивается полностью: такие модели доступны только тем, кто может постоянно использовать много компьюта.
После выхода о1 был спор про экономику test-time compute. Мне кажется безумные цены о3 говорят, что экономика в текущем виде неподъёмная.
Но я думаю мы скоро увидим как стоимость сильно упадет (когда Гугл сделает как у OpenAI, но лучше и дешевле).
BY Борис опять
Warning: Undefined variable $i in /var/www/group-telegram/post.php on line 260
Right now the digital security needs of Russians and Ukrainians are very different, and they lead to very different caveats about how to mitigate the risks associated with using Telegram. For Ukrainians in Ukraine, whose physical safety is at risk because they are in a war zone, digital security is probably not their highest priority. They may value access to news and communication with their loved ones over making sure that all of their communications are encrypted in such a manner that they are indecipherable to Telegram, its employees, or governments with court orders. "There are a lot of things that Telegram could have been doing this whole time. And they know exactly what they are and they've chosen not to do them. That's why I don't trust them," she said. You may recall that, back when Facebook started changing WhatsApp’s terms of service, a number of news outlets reported on, and even recommended, switching to Telegram. Pavel Durov even said that users should delete WhatsApp “unless you are cool with all of your photos and messages becoming public one day.” But Telegram can’t be described as a more-secure version of WhatsApp. And indeed, volatility has been a hallmark of the market environment so far in 2022, with the S&P 500 still down more than 10% for the year-to-date after first sliding into a correction last month. The CBOE Volatility Index, or VIX, has held at a lofty level of more than 30. He said that since his platform does not have the capacity to check all channels, it may restrict some in Russia and Ukraine "for the duration of the conflict," but then reversed course hours later after many users complained that Telegram was an important source of information.
from hk
