Warning: mkdir(): No space left on device in /var/www/group-telegram/post.php on line 37
Warning: file_put_contents(aCache/aDaily/post/datastorieslanguages/--): Failed to open stream: No such file or directory in /var/www/group-telegram/post.php on line 50 Data, Stories and Languages | Telegram Webview: datastorieslanguages/351 -
Training Large Language Models to Reason in a Continuous Latent Space
Новая статья от META - про кокосик! То есть Coconut (Chain of Continuous Thought).
Авторы предлагают изменить подход к reasoning в LLM, перемещая процесс из "language space" в "latent space". По сути, модель думает не токенами, а с использованием hidden state. Это позволяет делать breadth-first search и избегать преждевременных решений при выборе неоптимального пути. Coconut превосходит CoT в задачах логического мышления с необходимостью сложного планирования и backtracking.
Подобные идеи уже пробовали в других работах, но у META получилось довольно красиво. Кстати, в качестве базовой модели используют старый добрый GPT-2.
Training Large Language Models to Reason in a Continuous Latent Space
Новая статья от META - про кокосик! То есть Coconut (Chain of Continuous Thought).
Авторы предлагают изменить подход к reasoning в LLM, перемещая процесс из "language space" в "latent space". По сути, модель думает не токенами, а с использованием hidden state. Это позволяет делать breadth-first search и избегать преждевременных решений при выборе неоптимального пути. Coconut превосходит CoT в задачах логического мышления с необходимостью сложного планирования и backtracking.
Подобные идеи уже пробовали в других работах, но у META получилось довольно красиво. Кстати, в качестве базовой модели используют старый добрый GPT-2.
On Telegram’s website, it says that Pavel Durov “supports Telegram financially and ideologically while Nikolai (Duvov)’s input is technological.” Currently, the Telegram team is based in Dubai, having moved around from Berlin, London and Singapore after departing Russia. Meanwhile, the company which owns Telegram is registered in the British Virgin Islands. Messages are not fully encrypted by default. That means the company could, in theory, access the content of the messages, or be forced to hand over the data at the request of a government. Russians and Ukrainians are both prolific users of Telegram. They rely on the app for channels that act as newsfeeds, group chats (both public and private), and one-to-one communication. Since the Russian invasion of Ukraine, Telegram has remained an important lifeline for both Russians and Ukrainians, as a way of staying aware of the latest news and keeping in touch with loved ones. Andrey, a Russian entrepreneur living in Brazil who, fearing retaliation, asked that NPR not use his last name, said Telegram has become one of the few places Russians can access independent news about the war. A Russian Telegram channel with over 700,000 followers is spreading disinformation about Russia's invasion of Ukraine under the guise of providing "objective information" and fact-checking fake news. Its influence extends beyond the platform, with major Russian publications, government officials, and journalists citing the page's posts.
from kr
