По поводу недавнего шума про DeepSeek. Вот вам совершенно поразительный кусок из их статьи. Речь про статью в январе, где они показывают уже вторую свою LLM, обученную через чистый RL. Они приходят к выводу (абсолютно логичному имхо), что обучение через RL будет приводить к поиску моделью совершенно новых путей решения задачи. Но что бы настолько…
На мой взгляд - это совершенно поразительно. Если кто сразу не понял: модель решает довольно сложную математическую задачу и тут у нее наступает момент “озарения” (в английском они это называют “aha moment”) и она перестраивает решение совершенно по другому… Момент озарения… Уже почти сильный ИИ…
Вот мне реально интересно, какие же ресурсы нужны, чтобы так обучить LLM на 671 млрд. параметров через RL. Что то меня берет сомнение про историю с 2000 GPU…
По поводу недавнего шума про DeepSeek. Вот вам совершенно поразительный кусок из их статьи. Речь про статью в январе, где они показывают уже вторую свою LLM, обученную через чистый RL. Они приходят к выводу (абсолютно логичному имхо), что обучение через RL будет приводить к поиску моделью совершенно новых путей решения задачи. Но что бы настолько…
На мой взгляд - это совершенно поразительно. Если кто сразу не понял: модель решает довольно сложную математическую задачу и тут у нее наступает момент “озарения” (в английском они это называют “aha moment”) и она перестраивает решение совершенно по другому… Момент озарения… Уже почти сильный ИИ…
Вот мне реально интересно, какие же ресурсы нужны, чтобы так обучить LLM на 671 млрд. параметров через RL. Что то меня берет сомнение про историю с 2000 GPU…
Following this, Sebi, in an order passed in January 2022, established that the administrators of a Telegram channel having a large subscriber base enticed the subscribers to act upon recommendations that were circulated by those administrators on the channel, leading to significant price and volume impact in various scrips. To that end, when files are actively downloading, a new icon now appears in the Search bar that users can tap to view and manage downloads, pause and resume all downloads or just individual items, and select one to increase its priority or view it in a chat. Additionally, investors are often instructed to deposit monies into personal bank accounts of individuals who claim to represent a legitimate entity, and/or into an unrelated corporate account. To lend credence and to lure unsuspecting victims, perpetrators usually claim that their entity and/or the investment schemes are approved by financial authorities. On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands. The Securities and Exchange Board of India (Sebi) had carried out a similar exercise in 2017 in a matter related to circulation of messages through WhatsApp.
from us
