group-telegram.com/ilyaiserson/293
Last Update:
Генерим тексты в DeepSeek и Qwen2.5: моя твоя не понимай? Часть III и последняя
Напомним: ИИ-редакция moab генерит до тысячи единиц контента в месяц (можем и больше). Сейчас мы работаем на связке ChatGPT-4o и Claude Sonnet 3.5 и довольны качеством текстов, но появились DeepSeek и Qwen, и мы решили протестировать их.
В первой части (https://www.group-telegram.com/us/ilyaiserson.com/291) мы сравнивали решения двух задач:
1. Генерация структуры текста.
2. Генерация короткого текста.
Во второй генерили лонгрид с техническими и стилистическими требованиями (https://www.group-telegram.com/us/ilyaiserson.com/292).
Остался ФАКТЧЕКИНГ.
Как все мы знаем, ИИшка врёт и не краснеет. Пойманная за руку — извиняется и безмятежно врёт снова.
Но что толку от извинений. Например, вы сгенерили сотни биографий разных селебрити, опубликовали их. И они дружно грозят вам судом за неточные данные. Кого-то отправили на Евровидение задним числом, кому-то возраст указали настоящий, кто-то никогда не пел у Бари Алибасова… Давайте извинимся? Не прокатит.
Как избежать правдоподобного вранья, если вы делаете действительно много нейроконтента? Делать фактчек. У нас в ИИ-редакции одна нейросеть проверяет другую. И это помимо вычитки человеческим редактором.
Для фактчека мы взяли всех наших участников забега и добавили еще один конкурентный ИИ — Gemini 2.0 Flash Experimental от Google, результаты сопоставимы с платной Gemini Advanced.
На тест отправляли текст, который априори содержит 1 грубую ошибку и около 7 неточностей.
➡️ Все ИИ обнаружили грубую ошибку, но все недочеты совершенно корректно высчитал только Gemini.
➡️ Все, прям как настоящий редактор, придирались к субъективным оценкам и необоснованным заявлениям.
➡️ Gemini, Qwen и DeepSeek приложили ссылки на источники.
🤪 Qwen проявил себя как истинная нейросеть: придумал новый факт и «подтвердил» его (битой) ссылкой на источник. Речь о названии первого альбома Мота — он называется «Remote», а не «Remote Control», как утверждает Квен, вот пруф.
Исходный текст и результаты проверок (цветом в оригинале помечены ошибки и недочеты).
Теперь вы тоже знакомы с биографией рэпера, поздравляем!
BY Ilya Iserson
Share with your friend now:
group-telegram.com/ilyaiserson/293