Telegram Group & Telegram Channel
🌸Чаевые для LLM: сколько нужно пообещать?🌸
#nlp #про_nlp #prompt_engineering

Популярный прием в промпт-инжиниринге — добавить обещание денег за хорошо выполненную работу (что? да!)
"I'm going to tip $200 for a perfect solution!"

Изначальный reddit-тред показывает, что в сравнении с отсутствем чаевых можно получить примерно +5-11% итогового качества.

На стриме Сиолошной Денис пошутил, что обещает вообще 5к долларов для эффективности своих затравок. В тот же момент я подумала — а как бы сделать оптимизировать выбор суммы чаевых? Конечно, такое уже кто-то проверил в интернете.

🟣Метод очень простой:
— будем делать перебор сумм разного порядка, подставляя их в шаблон
I'll tip you {tip} for a perfect answer.

— замеряем качество решения задачи с разными суммами, от $0.1 до $1,000,000
— так как разные затравки влияют еще и на длину выдачи, может оказаться, что некоторые промпты делают наши генерации длиннее, и в том числе дороже. Так что будем учитывать и этот параметр тоже
— будем проверять на gpt-4-turbo, на задаче генерации валидных Python one-liners (можно было выбрать задачу получше, да)

🟣Краткий итог проверки:
— лучше всего предлагать 10-20 долларов чаевых, это значение, при котором качество вырастает
— если пообещать очень крупную сумму (более 100 тыс), качество тоже вырастает, но значительно вырастает и длина генерации
— разные затравки неконсистентно увеличивают длину генерации, нужно отслеживать каждую
— очень маленькие чаевые качество ухудшают! лучше ничего не писать про чаевые

В целом достаточно интерпретируемый итог, если считать, что мы пытаемся затравкой воссоздать реалистичные условия, при которых кто-то старается.
Контринтуитивными кажутся совсем большие суммы, так как такие события должны быть очень редкими и не очень помогать. Andrej Karpathy как-то говорил в State of GPT, что написать "веди себя как ученый с IQ 120" гораздо лучше, чем "с IQ 400", так как IQ 400 в корпусе не встречалось. (Как и милионные чаевые)
Что думаете?

🟣Ссылка
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/rybolos_channel/1023
Create:
Last Update:

🌸Чаевые для LLM: сколько нужно пообещать?🌸
#nlp #про_nlp #prompt_engineering

Популярный прием в промпт-инжиниринге — добавить обещание денег за хорошо выполненную работу (что? да!)
"I'm going to tip $200 for a perfect solution!"

Изначальный reddit-тред показывает, что в сравнении с отсутствем чаевых можно получить примерно +5-11% итогового качества.

На стриме Сиолошной Денис пошутил, что обещает вообще 5к долларов для эффективности своих затравок. В тот же момент я подумала — а как бы сделать оптимизировать выбор суммы чаевых? Конечно, такое уже кто-то проверил в интернете.

🟣Метод очень простой:
— будем делать перебор сумм разного порядка, подставляя их в шаблон

I'll tip you {tip} for a perfect answer.

— замеряем качество решения задачи с разными суммами, от $0.1 до $1,000,000
— так как разные затравки влияют еще и на длину выдачи, может оказаться, что некоторые промпты делают наши генерации длиннее, и в том числе дороже. Так что будем учитывать и этот параметр тоже
— будем проверять на gpt-4-turbo, на задаче генерации валидных Python one-liners (можно было выбрать задачу получше, да)

🟣Краткий итог проверки:
— лучше всего предлагать 10-20 долларов чаевых, это значение, при котором качество вырастает
— если пообещать очень крупную сумму (более 100 тыс), качество тоже вырастает, но значительно вырастает и длина генерации
— разные затравки неконсистентно увеличивают длину генерации, нужно отслеживать каждую
— очень маленькие чаевые качество ухудшают! лучше ничего не писать про чаевые

В целом достаточно интерпретируемый итог, если считать, что мы пытаемся затравкой воссоздать реалистичные условия, при которых кто-то старается.
Контринтуитивными кажутся совсем большие суммы, так как такие события должны быть очень редкими и не очень помогать. Andrej Karpathy как-то говорил в State of GPT, что написать "веди себя как ученый с IQ 120" гораздо лучше, чем "с IQ 400", так как IQ 400 в корпусе не встречалось. (Как и милионные чаевые)
Что думаете?

🟣Ссылка

BY Kali Novskaya





Share with your friend now:
group-telegram.com/rybolos_channel/1023

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Individual messages can be fully encrypted. But the user has to turn on that function. It's not automatic, as it is on Signal and WhatsApp. WhatsApp, a rival messaging platform, introduced some measures to counter disinformation when Covid-19 was first sweeping the world. "The inflation fire was already hot and now with war-driven inflation added to the mix, it will grow even hotter, setting off a scramble by the world’s central banks to pull back their stimulus earlier than expected," Chris Rupkey, chief economist at FWDBONDS, wrote in an email. "A spike in inflation rates has preceded economic recessions historically and this time prices have soared to levels that once again pose a threat to growth." One thing that Telegram now offers to all users is the ability to “disappear” messages or set remote deletion deadlines. That enables users to have much more control over how long people can access what you’re sending them. Given that Russian law enforcement officials are reportedly (via Insider) stopping people in the street and demanding to read their text messages, this could be vital to protect individuals from reprisals. "We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon."
from ar


Telegram Kali Novskaya
FROM American