🌸Чаевые для LLM: сколько нужно пообещать?🌸
#nlp #про_nlp #prompt_engineering

Популярный прием в промпт-инжиниринге — добавить обещание денег за хорошо выполненную работу (что? да!)
"I'm going to tip $200 for a perfect solution!"

Изначальный reddit-тред показывает, что в сравнении с отсутствем чаевых можно получить примерно +5-11% итогового качества.

На стриме Сиолошной Денис пошутил, что обещает вообще 5к долларов для эффективности своих затравок. В тот же момент я подумала — а как бы сделать оптимизировать выбор суммы чаевых? Конечно, такое уже кто-то проверил в интернете.

🟣Метод очень простой:
— будем делать перебор сумм разного порядка, подставляя их в шаблон

I'll tip you {tip} for a perfect answer.

— замеряем качество решения задачи с разными суммами, от $0.1 до $1,000,000
— так как разные затравки влияют еще и на длину выдачи, может оказаться, что некоторые промпты делают наши генерации длиннее, и в том числе дороже. Так что будем учитывать и этот параметр тоже
— будем проверять на gpt-4-turbo, на задаче генерации валидных Python one-liners (можно было выбрать задачу получше, да)

🟣Краткий итог проверки:
— лучше всего предлагать 10-20 долларов чаевых, это значение, при котором качество вырастает
— если пообещать очень крупную сумму (более 100 тыс), качество тоже вырастает, но значительно вырастает и длина генерации
— разные затравки неконсистентно увеличивают длину генерации, нужно отслеживать каждую
— очень маленькие чаевые качество ухудшают! лучше ничего не писать про чаевые

В целом достаточно интерпретируемый итог, если считать, что мы пытаемся затравкой воссоздать реалистичные условия, при которых кто-то старается.
Контринтуитивными кажутся совсем большие суммы, так как такие события должны быть очень редкими и не очень помогать. Andrej Karpathy как-то говорил в State of GPT, что написать "веди себя как ученый с IQ 120" гораздо лучше, чем "с IQ 400", так как IQ 400 в корпусе не встречалось. (Как и милионные чаевые)
Что думаете?

🟣Ссылка