Архитектурно это всё та же GPT-3, вся фишка в дообучении: 1. Сначала, они её немного зафайнтюнили на чистых данных. 2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать. 3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.
В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.
P.S. Похоже, что RL теперь снова в моде благодаря языковым моделям.
Архитектурно это всё та же GPT-3, вся фишка в дообучении: 1. Сначала, они её немного зафайнтюнили на чистых данных. 2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать. 3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.
В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.
P.S. Похоже, что RL теперь снова в моде благодаря языковым моделям.
"And that set off kind of a battle royale for control of the platform that Durov eventually lost," said Nathalie Maréchal of the Washington advocacy group Ranking Digital Rights. In 2018, Russia banned Telegram although it reversed the prohibition two years later. The channel appears to be part of the broader information war that has developed following Russia's invasion of Ukraine. The Kremlin has paid Russian TikTok influencers to push propaganda, according to a Vice News investigation, while ProPublica found that fake Russian fact check videos had been viewed over a million times on Telegram. "For Telegram, accountability has always been a problem, which is why it was so popular even before the full-scale war with far-right extremists and terrorists from all over the world," she told AFP from her safe house outside the Ukrainian capital. Perpetrators of such fraud use various marketing techniques to attract subscribers on their social media channels.
from ar
