Ilya Iserson

Генерим тексты в DeepSeek и Qwen2.5: моя твоя не понимай? Часть III и последняя

Напомним: ИИ-редакция moab генерит до тысячи единиц контента в месяц (можем и больше). Сейчас мы работаем на связке ChatGPT-4o и Claude Sonnet 3.5 и довольны качеством текстов, но появились DeepSeek и Qwen, и мы решили протестировать их.

В первой части (https://www.group-telegram.com/it/ilyaiserson.com/291) мы сравнивали решения двух задач:
1. Генерация структуры текста.
2. Генерация короткого текста.
Во второй генерили лонгрид с техническими и стилистическими требованиями (https://www.group-telegram.com/it/ilyaiserson.com/292).

Остался ФАКТЧЕКИНГ.

Как все мы знаем, ИИшка врёт и не краснеет. Пойманная за руку — извиняется и безмятежно врёт снова.

Но что толку от извинений. Например, вы сгенерили сотни биографий разных селебрити, опубликовали их. И они дружно грозят вам судом за неточные данные. Кого-то отправили на Евровидение задним числом, кому-то возраст указали настоящий, кто-то никогда не пел у Бари Алибасова… Давайте извинимся? Не прокатит.

Как избежать правдоподобного вранья, если вы делаете действительно много нейроконтента? Делать фактчек. У нас в ИИ-редакции одна нейросеть проверяет другую. И это помимо вычитки человеческим редактором.

Для фактчека мы взяли всех наших участников забега и добавили еще один конкурентный ИИ — Gemini 2.0 Flash Experimental от Google, результаты сопоставимы с платной Gemini Advanced.

На тест отправляли текст, который априори содержит 1 грубую ошибку и около 7 неточностей.

➡️ Все ИИ обнаружили грубую ошибку, но все недочеты совершенно корректно высчитал только Gemini.

➡️ Все, прям как настоящий редактор, придирались к субъективным оценкам и необоснованным заявлениям.

➡️ Gemini, Qwen и DeepSeek приложили ссылки на источники.

🤪 Qwen проявил себя как истинная нейросеть: придумал новый факт и «подтвердил» его (битой) ссылкой на источник. Речь о названии первого альбома Мота — он называется «Remote», а не «Remote Control», как утверждает Квен, вот пруф.

Исходный текст и результаты проверок (цветом в оригинале помечены ошибки и недочеты).

Теперь вы тоже знакомы с биографией рэпера, поздравляем!

www.group-telegram.com/it/ilyaiserson.com/293

2.3K viewsJan 31 at 08:37

Генерим тексты в DeepSeek и Qwen2.5: моя твоя не понимай? Часть III и последняя

Напомним: ИИ-редакция moab генерит до тысячи единиц контента в месяц (можем и больше). Сейчас мы работаем на связке ChatGPT-4o и Claude Sonnet 3.5 и довольны качеством текстов, но появились DeepSeek и Qwen, и мы решили протестировать их.

В первой части (https://www.group-telegram.com/it/ilyaiserson.com/291) мы сравнивали решения двух задач:
1. Генерация структуры текста.
2. Генерация короткого текста.
Во второй генерили лонгрид с техническими и стилистическими требованиями (https://www.group-telegram.com/it/ilyaiserson.com/292).

Остался ФАКТЧЕКИНГ.

Как все мы знаем, ИИшка врёт и не краснеет. Пойманная за руку — извиняется и безмятежно врёт снова.

Но что толку от извинений. Например, вы сгенерили сотни биографий разных селебрити, опубликовали их. И они дружно грозят вам судом за неточные данные. Кого-то отправили на Евровидение задним числом, кому-то возраст указали настоящий, кто-то никогда не пел у Бари Алибасова… Давайте извинимся? Не прокатит.

Как избежать правдоподобного вранья, если вы делаете действительно много нейроконтента? Делать фактчек. У нас в ИИ-редакции одна нейросеть проверяет другую. И это помимо вычитки человеческим редактором.

Для фактчека мы взяли всех наших участников забега и добавили еще один конкурентный ИИ — Gemini 2.0 Flash Experimental от Google, результаты сопоставимы с платной Gemini Advanced.

На тест отправляли текст, который априори содержит 1 грубую ошибку и около 7 неточностей.

➡️ Все ИИ обнаружили грубую ошибку, но все недочеты совершенно корректно высчитал только Gemini.

➡️ Все, прям как настоящий редактор, придирались к субъективным оценкам и необоснованным заявлениям.

➡️ Gemini, Qwen и DeepSeek приложили ссылки на источники.

🤪 Qwen проявил себя как истинная нейросеть: придумал новый факт и «подтвердил» его (битой) ссылкой на источник. Речь о названии первого альбома Мота — он называется «Remote», а не «Remote Control», как утверждает Квен, вот пруф.

Исходный текст и результаты проверок (цветом в оригинале помечены ошибки и недочеты).

Теперь вы тоже знакомы с биографией рэпера, поздравляем!

BY Ilya Iserson