Малоизвестное интересное

Скрытый потенциал русского ИИ для преодоления отставания от США и Китая.
Что если разрешить русским LLM материться без ограничений?
«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык

Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.

Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.

Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.

Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.

1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.

Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.

Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».

#ИИгонка #Россия #Аффорданс

www.group-telegram.com/cn/theworldisnoteasy.com/2060

26.3K viewsDec 17 at 14:05

Скрытый потенциал русского ИИ для преодоления отставания от США и Китая.
Что если разрешить русским LLM материться без ограничений?
«Русский мат — … это не просто скабрезные ругательства. Это еще и эмоциональная беседа мужчин в критических ситуациях. Исконной матерной речью пользовались в мужских компаниях, и не для того, чтобы обругать друг друга, а чтобы весело, быстро, понятно и эмоционально объясниться друг с другом в экстремальных условиях, в опасных ситуациях. Такая речь обладает мощным не только психологическим, но, как показано выше, и физиологическим действием.»
Доктор психологических наук Леонид Александрович Китаев-Смык

Сразу предупрежу: это не шутка, не ирония и уж тем более не издевка.
На современном этапе развития ИИ все упирается в наличие огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Об этом я талдычу уже несколько лет в постах под грифом «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке» [1, 2, 3]
Но экспортные ограничения крепчают. Их преодоление становится все накладней, и требуемый массовый характер таких поставок в Россию уже не видится реальным.
Разработка своего железа на горизонте достижимости в несколько лет тоже нереальна, т.к. на это требуются десятки миллиардов долларов и десятки лет. А для создания стратегической системы поставок, подобной китайской, среди российских госчиновников маловато китайцев.
В этой тупиковой ситуации остается надеяться либо на чудо, либо на какой-то уж совсем немыслимый творческий кульбит – некую фантастически перспективную идею.

Как у нас водится, примеров предложений таких, якобы, перспективных идей хватает во всех сегментах разработок российского ИИ: от, будто бы, небывало эффективных новых архитектур, до хитрейших и гениальных (по мнению их авторов) новых алгоритмов.
Но все они, в моем представлении, уступают по шедевриальности вот этой идее, недавно прозвучавшей в кулуарах крупной тусовки российских ИИ-разработчиков – новый класс матерящихся языковых моделей.

Речь об использовании уникального ресурсного языкового богатства русского языка (русского мата), потенциально способного стать ключевым конкурентным преимуществом больших языковых моделей, обучающихся на нерецензируемом корпусе русский текстов и не имеющих никаких ограничений на использование нецензурной лексики.

Эта довольно дикая на первый взгляд идея, по мысли ее сторонников, стоит на трёх слонах и черепахе по имени «аффорданс» (описание которых не умещается в ограниченный размер Телеграм поста и потому вынесено в лонгрид для подписчиков на Patreon, Boosty, VK и Дзен – подписывайтесь, ибо текст весьма интересный 😊).
Здесь же, из-за недостатка места, я лишь назову три связанных друг с другом следствия этой идеи.

1) Новейшее метаисследование пяти солидных академических центров показывает, что с точки зрения практического применения, «ругань представляет собой малорискованное, эффективное и недорогое вмешательство, которое может существенно улучшить физическую работоспособность» людей (см. рисунок).
2) Резонно предположить, что, будучи частью языка, ругань может быть использована языковыми моделями с большей лингвистической, семантической и эмоциональной эффективностью, чем это достижимо для людей.
3) При снятии цензурных ограничений при обучении и использовании LLM, уникальное преимущество русского мата могло бы стать малорискованным, эффективным и недорогим вмешательством, способным существенно улучшить интеллектуальную работоспособность не только языковых моделей, но и работающих с ними в гибридном режиме людей.

Своих комментариев на эту офигительную идею я давать не буду, дабы не портить одним читателям возможность ее уничижительной критики, а другим - ее восторженной поддержки.

Скажу лишь, что мое подробное обсуждение с пятью LLM (четырьмя американскими и одной китайской) показало их весьма позитивное отношение к этой «плодотворной дебютной идее».

#ИИгонка #Россия #Аффорданс

BY Малоизвестное интересное