group-telegram.com/ilyaiserson/292
Last Update:
Генерим тексты в DeepSeek и Qwen2.5: моя твоя не понимай? Часть II
Напомним: ИИ-редакция moab генерит до тысячи единиц контента в месяц (можем и больше). Сейчас мы работаем на связке ChatGPT-4o и Claude Sonnet 3.5 и довольны качеством текстов, но появились DeepSeek и Qwen, и мы решили протестировать их.
В первой части (https://www.group-telegram.com/ms/ilyaiserson.com/291) мы сравнивали решения двух задач:
1. Генерация структуры текста.
2.1. Генерация короткого текста.
Перейдем к более сложному.
2.2. Генерация лонгрида с техническими и стилистическими требованиями.
Мы хотим получить: 100% уникальности по Content Watch, полное вхождение подсветки + LSI, до 3 по слову, по Релевантусу (он же ГАР) – минимальная ширина 60, минимальная глубина 40, соблюдение требований по длине текста, достоверности фактов.
Использовали наш рабочий промт для генерации лонгридов. В нем мы указали роль, целевую аудиторию, ключи, структуру текста. Выдали ряд правил — и для написания текста, и для стилистики. Чтобы ИИ было совсем хорошо работать вне зависимости от модели — показали образец хорошего текста для этого направления.
И да, Яндекс GPT сошел с дистанции на этапе короткого текста.
Что вышло в итоге:
Claude Sonnet 3.5: Как вырастить зеленый лук на подоконнике
Отличная живая лексика, читается легко, инструкции понятные и практичные. Лучший текст из всех. В сравнении с другими текстами советы более оригинальные и детальные. Например: «Важный момент: луковицу нужно зафиксировать так, чтобы она не падала в воду целиком. Для этого можно использовать зубочистки, воткнув их крест-накрест, или специальные держатели для луковиц. А ещё отлично работает способ с натянутой на банку марлей – луковица как раз удобно располагается в центре».
ChatGPT-4o: Как вырастить зеленый лук на подоконнике
Доля живости в тексте есть, но заметно меньше, чем у Клода. Есть стилистические косяки («Этот вариант больше подходит тем, кто хочет долгий и стабильный урожай» — пропущен глагол, например «иметь» или «снимать»). Предложил установить на подоконнике гидропонную установку.
DeepSeek: Как вырастить зеленый лук на подоконнике
Дубоватый текст, такой «подгон с биржи». Лексика выдерживается только местами, как будто он внезапно вспоминает про эту инструкцию. Советы выглядят рерайтом с рерайта, в итоге остаются вопросы, как сделать описанное.
Qwen2.5-Max: Как вырастить зеленый лук на подоконнике
Большие, на грани, абзацы. Нет списков, вообще ни одного. Вода, много воды. Повторы одних и тех же фраз и фактов. Лексика не соответствует запрошенной (мы просили использовать личные обращения, метафоры и риторические вопросы, ничего в тексте не нашлось). Изложение бессистемное.
Забавный момент:
В структуре есть вопрос «Как вырастить лук-севок». Клод понял это дословно — как выращивание лука из семян для посадки. Дипсик и ЧатГПТ интерпретировали как проращивание лука-севка на перо. То и другое допустимо. А вот Квен решил, что цель посадки лука-севка в том, чтобы эти луковицы начали формировать новые луковицы (как?!) которые уже можно будет высадить весной на грядки.
Параметры текстов в цифрах вы увидите на картинке.
Хотим отметить щедрость Qwen2.5Max — при запросе на 10к текста он разогнался буквально втрое (30к), налил воды и повторов. Конечно, это регулируется дополнительной настройкой промта, но в данном случае — перебор жесточайший.
Детектор ИИ
Мы использовали PR-CY. Проверяли все тексты и дополнительно подкинули задачку на проверку 100% ручных статей, созданных до засилья ИИ.
Результат: самый низкий процент «роботности» у текста за авторством Qwen (10%), следом идет Клод (14%), а самый высокий (наберите воздуха в грудь) – у человеческого текста (30%).
Продолжение — в фактчекинге вперед вырвалась темная лошадка — следует.
BY Ilya Iserson
Share with your friend now:
group-telegram.com/ilyaiserson/292