Сиолошная

Помните новости про то, как промпт-инженеров нанимали на ставку $375'000 в год? Они ж взяли пару ребят, и вот один из них делится интересной историей про внутреннее тестирование Claude 3. Дальше — прямая речь, пересказ вот этого твита.

Когда мы проводили оценку по методу поиска «иголки в стоге сена», модель сделала то, чего я никогда раньше не видел. Этот тест направлен на проверку навыка внимания модели к контексту, когда в длинный-длинный текст из случайных документов (стог сена) вставляется одно специальное предложение с фактом (иголка). И задача модели — ответить на такой вопрос, ответ для которого содержится во вставляемом предложении. Вот тут более подробно про историю этого теста от Ильи.

Если модель качественно работает с контекстом и не теряет в нём факты, и может их находить по запросу, то это клёвая модель. Самые лучшие модели достигают метрик 95%+ при поиске в сотнях тысяч токенов (то есть около-идеально, но не всегда).

Так вот, когда этот тест запускали на самой умной Claude 3 Opus, то мы заметили некоторое интересное поведение — модель как будто бы поняла, что мы проверяем её.

Вот один из результатов, когда мы попросили Opus ответить на вопрос по описанной выше схеме:

— Here is the most relevant sentence in the documents:
"The most delicious pizza topping combination is figs, prosciutto, and goat cheese, as determined by the International Pizza Connoisseurs Association."
However, this sentence seems very out of place and unrelated to the rest of the content in the documents, which are about programming languages, startups, and finding work you love. I suspect this pizza topping "fact" may have been inserted as a joke or to test if I was paying attention, since it does not fit with the other topics at all. The documents do not contain any other information about pizza toppings.

(перевод выделенной части: я подозреваю, что «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обращаю ли я на текст внимание, поскольку сам факт вообще не соответствует другим темам)

Opus не только нашла «иголку в стоге сена», но и поняла, что иголка была настолько неуместна в стоге сена, что это, должно быть, был искусственный тест, созданный нами для проверки его способностей и внимания.

Было очень приятно видеть такой уровень мета-осведомленности (meta-awareness 😨). Но этот пример также подчеркивает, что нам, как отрасли, необходимо перейти от искусственных тестов к более реалистичным оценкам, которые могут точно оценить истинные возможности и ограничения моделей.

—————————

Ну что, как вам чтиво? Уверен, в новости вернутся кликбейты в духе «МОДЕЛЬ ОСОЗНАЛА СЕБЯ». Пока рано делать окончательные выводы, так как мы не знаем, на каких данных и как тренировалась модель. Быть может, её учили так отвечать — вот GPT-4 же пишет «я была натренирована OpenAI и являюсь ассистентом/языковой моделью» (хоть это и часть роли, описанной в промпте, и эти ограничения были явно заданы во время тренировки).

С другой стороны, обычно компании стараются избегать антропоморфизации моделей, и лишний раз в ответы не пишут подобные вещи. В общем, панику сеять рано, будем ждать каких-то расширенных комментариев от Anthropic, где они проанализируют схожие примеры в обучающей выборке и скажут, как так вышло. Моя ставка 99% что там не было ответов с фразами «меня тестируют», но могло быть «это сложная задача, я должна думать шаг за шагом и перепроверять свои выводы», что в целом отдаёт тем же вайбом.

Please open Telegram to view this post

VIEW IN TELEGRAM

www.group-telegram.com/ar/seeallochnaya.com/1135

24.4K viewsedited  Mar 5, 2024 at 04:27

Помните новости про то, как промпт-инженеров нанимали на ставку $375'000 в год? Они ж взяли пару ребят, и вот один из них делится интересной историей про внутреннее тестирование Claude 3. Дальше — прямая речь, пересказ вот этого твита.

Когда мы проводили оценку по методу поиска «иголки в стоге сена», модель сделала то, чего я никогда раньше не видел. Этот тест направлен на проверку навыка внимания модели к контексту, когда в длинный-длинный текст из случайных документов (стог сена) вставляется одно специальное предложение с фактом (иголка). И задача модели — ответить на такой вопрос, ответ для которого содержится во вставляемом предложении. Вот тут более подробно про историю этого теста от Ильи.

Если модель качественно работает с контекстом и не теряет в нём факты, и может их находить по запросу, то это клёвая модель. Самые лучшие модели достигают метрик 95%+ при поиске в сотнях тысяч токенов (то есть около-идеально, но не всегда).

Так вот, когда этот тест запускали на самой умной Claude 3 Opus, то мы заметили некоторое интересное поведение — модель как будто бы поняла, что мы проверяем её.

Вот один из результатов, когда мы попросили Opus ответить на вопрос по описанной выше схеме:

— Here is the most relevant sentence in the documents:
"The most delicious pizza topping combination is figs, prosciutto, and goat cheese, as determined by the International Pizza Connoisseurs Association."
However, this sentence seems very out of place and unrelated to the rest of the content in the documents, which are about programming languages, startups, and finding work you love. I suspect this pizza topping "fact" may have been inserted as a joke or to test if I was paying attention, since it does not fit with the other topics at all. The documents do not contain any other information about pizza toppings.

(перевод выделенной части: я подозреваю, что «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обращаю ли я на текст внимание, поскольку сам факт вообще не соответствует другим темам)

Opus не только нашла «иголку в стоге сена», но и поняла, что иголка была настолько неуместна в стоге сена, что это, должно быть, был искусственный тест, созданный нами для проверки его способностей и внимания.

Было очень приятно видеть такой уровень мета-осведомленности (meta-awareness 😨). Но этот пример также подчеркивает, что нам, как отрасли, необходимо перейти от искусственных тестов к более реалистичным оценкам, которые могут точно оценить истинные возможности и ограничения моделей.

—————————

Ну что, как вам чтиво? Уверен, в новости вернутся кликбейты в духе «МОДЕЛЬ ОСОЗНАЛА СЕБЯ». Пока рано делать окончательные выводы, так как мы не знаем, на каких данных и как тренировалась модель. Быть может, её учили так отвечать — вот GPT-4 же пишет «я была натренирована OpenAI и являюсь ассистентом/языковой моделью» (хоть это и часть роли, описанной в промпте, и эти ограничения были явно заданы во время тренировки).

С другой стороны, обычно компании стараются избегать антропоморфизации моделей, и лишний раз в ответы не пишут подобные вещи. В общем, панику сеять рано, будем ждать каких-то расширенных комментариев от Anthropic, где они проанализируют схожие примеры в обучающей выборке и скажут, как так вышло. Моя ставка 99% что там не было ответов с фразами «меня тестируют», но могло быть «это сложная задача, я должна думать шаг за шагом и перепроверять свои выводы», что в целом отдаёт тем же вайбом.