Точка, точка, запятая — а без них контекста нет

Что за бессвязная чушь, справедливо спросите вы? А я отвечу — бессвязной она бы стала для LLM, если бы мы убрали из этого текста знаки препинания и артикли.

Исследователи из Института AIRI обнаружили, что именно эти элементы языка, которые часто воспринимаются нами как малозначимые, играют ключевую роль в обработке информации языковыми моделями. Сюда же идёт всякая вода в виде стоп-слов: на сегодняшний день, актуальная проблема...

🤖 Оказалось, что LLM использует пунктуацию и словесные украшательства как условные «якоря памяти». Они работают как каркас, на который затем «навешиваются» смыслы, сохраняя контекст.

Что будет, если «очистить» предложение от мусора? Авторы проверили: удаляем стоп-слова, артикли, пунктуацию — и на наборах задач MMLU и BABILong производительность модели падает стабильно, иногда вплоть до 20%, то же касается банального восстановления исходного текста. Даже если удалять «аккуратно» — например, с помощью ChatGPT.

Так происходит, потому что языковые модели воспринимают текст как последовательность символов — токенов, среди которых системе необходимо выделить наиболее важные для понимания. В ходе исследования ученые разработали метод, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.

✔️ Исследователи также выложили на GitHub исходный код LLM Microscope — этот инструмент позволяет в подробностях изучать «внутренности» языковых моделей: контекстуализированность, анизотропию и внутреннюю размерность. В конце концов, не только же Anthropic и Google копаться в мозгах своих моделей?

Как нам рассказали в AIRI, их исследование уже приняли на ежегодную конференцию Североамериканского филиала Ассоциации по вычислительной лингвистике NAACL 2025 (A). Она пройдёт с 29 апреля по 4 мая в Альбукерке, Нью-Мексико (и если кто-то have to cook here, то с этой задачей наши ребята как раз справятся).

❓ Ну что тут сказать? Давайте внимательнее относиться к пунктуации. А то ИИ потом может и не понять наши мольбы о пощаде в текстовом виде... А за предоставленный мем говорю спасибо GPT-4o: чтоб вы понимали, он его придумал сам по содержанию статьи.

@anti_agi

Отечественный рынок продолжает радовать событиями. Сегодня MTS AI представила новую большую языковую модель Cotype Pro 2 для бизнеса. Сообщается, что она может обрабатывать тексты до 128 тысяч токенов, или около 900 тысяч символов.

В 2025-2026 годах модель обещают сделать основой линейки ИИ-агентов для госсектора, банков, ритейла и других сфер. Ну а пока вновь говорят о возможностях интеграции с инструментами RAG и «ролевого отыгрыша» — ведения диалога от лица специалиста.

📍 «Под капотом» то же, что мы уже могли видеть в Cotype Nano — старый добрый Qwen 2.5 (не прошло и суток с последней ру-новости с его участием). Но в MTS AI говорят, что Cotype Pro 2 на 40% быстрее предыдущей версии и на 50% точнее обрабатывает длинные тексты. Модель вошла в топ-5 русскоязычных ИИ-решений по оценке Альянса в сфере ИИ (бенчмарк MERA).

С участием первой про-версии было реализовано 300 проектов в «крупных компаниях». Про вторую говорят, что она адаптирована под более чем 100 корпоративных сценариев.

Перед выпуском MTS AI в течение трёх месяцев тестировала модель Cotype Pro 2 в реальных условиях: в банке из российского топ-10 она автоматически сортировала обращения в поддержку, а для МТС Live создавала описания мероприятий.

💻 Про открытый исходный код никто не забывает. В этом году MTS AI планирует выпустить в opensource как минимум две модели, рассказали в компании специально для @anti_agi. В планах разработчиков несколько сценариев. Среди них: обновить Cotype Nano и опубликовать исходный код «маленькой» версии помощника для программистов Kodify.

У MTS AI также может появиться собственная компактная модель на 1-1,5 млрд параметров, разработанная с нуля — будет интересно посмотреть.

@anti_agi

#утреннийдайджест

1️⃣Рынок зарплат специалистов в сфере кибербезопасности перегрет, считают профильные компании. Так, по данным SuperJob, вознаграждение на позиции директора по ИБ может достигать 1 млн руб. При этом работодатели все больше тяготеют к приглашению опытных специалистов, предпочитая нанимать именно их, вместо трех-четырех начинающих сотрудников

2️⃣МТС представила языковую модель Cotype Pro 2 и в 2025 году запустит ИИ-агентов для госсектора, банков, промышленности, ретейла, телекома, медицины и IT. Также компания предлагает консалтинг по внедрению ИИ. По оценке аналитиков, такие агенты способны генерировать контент и принимать решения вместо человека

3️⃣При президиуме правительственной комиссии по вопросам развития беспилотных авиационных систем (БАС) появится региональный совет по применению дронов на местном уровне. Это должно упростить открытие неба для БПЛА и позволит сконцентрироваться на локальных потребностях

4️⃣С 1 апреля граждане России смогут оформить на свое имя не более 20, а иностранцы — не более десяти сим-карт. Соответствующие поправки в закон «О связи» вступают в силу с этого дня

5️⃣Количество загрузок мессенджера Signal удвоилось на фоне скандала с добавлением журналиста The Atlantic в чат с чиновниками из администрации Дональда Трампа. На пике число установок достигало 195 тысяч в сутки

🕊️

Не так часто видим данные, подтверждающие реальную популярность фич с ИИ среди широкой аудитории в России. Интересный статистический факт вычитали сегодня в Cossa ⤴️

Каждое пятое видео, для которого была использована функция пересказа, было инструкцией. Второе место по пересказам занимают лекции. Чаще всего к инструменту прибегают мобильные пользователи — на них приходится 25% использований функции.

За 2024 год в «Яндекс Браузере» было создано 93 млн пересказов. Функция доступна на YouTube, ВКонтакте, Дзене и Rutube.

❤🟥🟥🔵🟦🟣🟪 Ежемесячно более 6 млн хороших историй происходит на Авито между пользователями — 6 миллионов моментов, когда чья-то мечта сбывается и продавец или исполнитель получают отзыв 5 звезд и душевные рекомендации ⭐️⭐️⭐️⭐️⭐️

В поддержку социальной миссии Авито — «Помочь каждому улучшить собственную жизнь и жизнь людей вокруг» — команда Авито запустила новую имидж-кампанию

«ХОРОШИЕ ИСТОРИИ НАЧИНАЮТСЯ ТАК!»

Все они основаны на реальных отзывах пользователей Авито ❤️💚💙💜

«Смогу, получится, моё!» — вдохновляйтесь и вы — пробуйте, находите, открывайте, меняйте, верьте!

Подробнее ➡️ на goodstories.ru.

#утреннийдайджест

1️⃣Минпромторг будет возмещать инвесторам 20% затрат на покупку и внедрение роботов на российских производствах. Программа субсидирования рассчитана до 2029 г. включительно и учитывает всех роботов, в том числе от зарубежных вендоров, следует из утвержденного министерством решения о порядке предоставления субсидии

2️⃣Фонд «Софтлайна» вложит 3 млрд рублей в разработчиков софта по подписке. Он планирует инвестировать в компании с выручкой от 5 млн руб. в год, разрабатывающие сложные для копирования программные решения с потенциалом роста и конкурентными преимуществами

3️⃣«Иви» может выйти на турецкий рынок видеосервисов. Компания запустила там отдельный стриминг ivi, а его мобильное приложение уже доступно в Google Play. Основной каталог составляют сериалы, на которые сервис приобрел права, а также релизы местных ТВ-каналов. Потенциальная емкость рынка Турции по итогам 2025 года составит почти $1 млрд, а в условиях инфляции в стране ежемесячная стоимость подписок превышает $15

4️⃣Дональд Трамп сегодня рассмотрит окончательное предложение о покупке социальной сети TikTok

5️⃣Криптобиржи вроде Bybit начали прекращать торговлю NFT - мировой объем торгов упал на 70% за год и составляет около $5 млн

🕊️

ИИ пришёл в порт Владивостока ⚓️

NtechLab и FESCO завершили внедрение мультиобъектной видеоаналитики на территории Владивостокского морского торгового порта (входит в FESCO / Росатом). Система реализована в рамках проекта «Умный и безопасный порт».

ИИ контролирует:

➖периметр и запретные зоны от проникновения посторонних
➖соблюдение охраны труда (жилеты, маски, перчатки)
➖перемещения транспорта: распознавание госномеров, история маршрутов

В ближайших планах — расширение на операционные процессы с контейнерами: учёт времени перевалки, распознавание номеров и префиксов.

Генеральный директор NtechLab Алексей Паламарчук отметил, что проект во Владивостоке стал одним из ключевых: он объединяет несколько передовых ИИ-модулей — от распознавания транспорта из более чем 26 стран до мониторинга средств индивидуальной защиты. По его словам, для построения такой системы планируется установить более 3000 камер.

По словам вице-президента FESCO Дмитрия Суровца, ежедневно на территории ВМТП находится около 5000 человек, включая сотрудников и гостей, поэтому вопрос безопасности всегда в приоритете. Он добавил, что ИИ позволяет контролировать большую территорию без наращивания штата и уже привёл к значительному снижению нарушений охраны труда.

Примечательно, что ИИ-решения NtechLab работают сегодня уже в 70 регионах России и 34 странах.

Реестр отечественного ПО сегодня цветёт и пахнет. По итогам 2024 года в него включили 4632 новых продукта от более чем 2700 правообладателей. Общий прирост составил 24% — до 24271 единицы ПО. При этом более 80% разработчиков оказались в реестре впервые.

ℹ️ Наибольший прирост показали такие категории, как встроенное ПО (48%), промышленные решения (38%) и средства анализа данных (34%). В ряде классов также наблюдается особенно высокая конкуренция, выяснили в аналитическом агентстве ИТ-холдинга Т1.

Если в среднем по рынку на одного разработчика приходится 2,7 продукта, то, например, для средств антивирусной защиты он достигает 15.6, в категории специализированного ПО для органов исполнительной власти — 7.3, а в области средств автоматизированного перевода — 6.3.

📍 В принципе, сухие цифры рынка хорошо накладываются друг на друга. В конце марта в Руссофте сообщили, что совокупный оборот российских ИТ-компаний за 2024 год может превысить 2,6 трлн рублей, прибавив 600 млрд по сравнению с 2023 годом. Но куда интереснее взглянуть на ситуацию со стороны потребителей — им-то льгот никто не даёт.

15,2% российских компаний вообще не используют отечественный софт, а около половины лояльно относятся к пиратству, говорит последнее исследование ГК «Сисофт». Повысить уровень внедрения российского ПО бизнес готов, если: будут спецпредложения и субсидии (22,5%), с течением времени (21,2%), при полной недоступности импорта или если использование отечественных решений станет более выгодным, чем внутренняя разработка (по 18,8%).

Кажется, что в дискурсе сейчас доминирует одна общая мысль: ключевым драйвером для роста доли отечественного ПО будет функциональное совершенствование. Без этого конкуренцию даже с «серыми» продуктами выиграть не получится — особенно среди специализированных инструментов.

🔤🔤Ну и что касается самого реестра. Не стоит забывать, что в него до сих пор попадали в том числе внутренние разработки госкорпораций. Так они добиваются нужных показателей по импортозамещению, но обходят рыночные процессы, расходуя средства на «изобретение велосипеда».

Чтобы решить эту проблему, осенью в Минцифры предложили сделать выручку от внешних продаж обязательным условием для нахождения в реестре. В актуальном проекте правил говорится, что госкорпорации не смогут просто так вносить своё ПО, если оно уже имеет аналоги на рынке. Для этого потребуется ежегодно подтверждать его коммерциализацию.

Доля продаж аффилированным лицам не должна превышать 30%. Но первую проверку придётся пройти только через год после попадания в реестр. Для тех, чьи решения уже есть в реестре, также предусмотрен переходный период. Посмотрим, как это повлияет на рост статистики в этом году :)

Технократия в действии: адвокат Apple назначен главой совета по трудовым спорам → сразу два дела против корпорации заморожены 🤝

Очередной скандал в США на фоне назначений на государственные должности приближенных из tech-тусовки.

Дональд Трамп выдвинул на должность главы Национального совета по трудовым отношениям США (NLRB) Кристал Кэри — партнёра юридической фирмы Morgan Lewis & Bockius, которая сделала карьеру на защите интересов крупных технологических корпораций, таких как Apple, SpaceX и Amazon. Возмущение общественности вызвало даже не само назначение, а то, что сразу два трудовых спора против Apple оказались отложены на неопределенный срок спустя пару дней после назначения.

Сами дела, слушания которых были отменены, довольно резонансные и тянутся ещё с 2021 года:

▪️ Жалобы на Apple были поданы в самый разгар движения #AppleToo, когда сотрудники корпорации начали открыто говорить о дискриминации в части оплаты труда и незаконном увольнении всех «недовольных».
▪️ Тогда две участницы движения обратились в орган NLRB, утверждая, что их уволили за поддержку профсоюзного движения.
▪️ В 2024 году NLRB признало обвинения обоснованными и обвинило Apple в нарушении трудового законодательства.
▪️ Слушания по этим двум делам были назначены на апрель и июнь 2025 года.
▪️ После назначения на пост главы NLRB Кристал Кэри эти слушания были отложены на неопределённый срок и отправлены на пересмотр.

Apple ожидаемо все обвинения отрицает и говорит, что увольнение было произведено по объективным причинам и никак не связано с профсоюзной деятельностью работниц. Правда, к участникам движения #AppleToo компания всё-таки прислушалась: например, в 2022 году из внутренних политик было удалено положение о запрете на разглашение информации, связанной с притеснениями на рабочем месте.

Третья бывшая сотрудница Apple, подавшая жалобу на компанию, сказала, что заседание по её делу всё ещё запланировано на август. Но оптимизма у неё немного: даже если слушание состоится, вряд ли дело будет рассмотрено справедливо.

#утреннийдайджест

1️⃣С ноября 2024 г. крупные заказчики IT-продуктов приостановили свои инвестпрограммы, а многие вообще поставили на паузу закупки отечественных IT-решений в ожидании возвращения на российский рынок иностранных вендоров, рассказал генеральный директор ПАО «Группа Астра» Илья Сивцев

2️⃣В 2024-м «дочка» Apple в России (впервые с 2022) получила 1 млрд руб. прибыли при нулевой выручке после убытков в прошлые годы. Доход был обеспечен возвращением НДС на товары, ввезенных четыре года назад

3️⃣Министерство цифрового развития хочет переложить на региональные власти субсидирование технологическое присоединение операторов связи к электросетям

4️⃣Первый вице-премьер Денис Мантуров поручил Минпромторгу, Минцифры и Минфину расширить применение практики форвардных контрактов на планшеты, ноутбуки, серверы и другую вычислительную технику, проработать вопрос запуска программы льготного лизинга для заказчиков российской электроники, а также ограничить параллельный импорт некоторой продукции

5️⃣Рынок отечественных NGFW-решений к 2030 году достигнет 146,3 млрд руб. при среднегодовом росте более 18%. Однако на текущий момент лишь менее четверти компаний полностью отказались от иностранных межсетевых экранов (NGFW) и многие совмещают использование привычных продуктов и новых российских решений

🕊️

Начинаем утро с ру-релизов. Сегодня «Яндекс» выпустил «Нейроэксперта» — онлайн-сервис, который может создать базу знаний на основе ссылок из интернета, документов, таблиц, презентаций, аудио- и видеофайлов. Затем по ней можно задавать вопросы в диалоге с чат-ботом.

На стадии беты в одну базу можно загрузить до 25 единиц контента, а затем поделиться ей по ссылке. В будущем лимит повысят, а для бизнеса выпустят расширенную версию. Кейсы применения очевидны: поиска информации во внутренних базах знаний и документации компании и всё связанное.

💻 Извлекать знания из документов помогают сразу несколько технологий «Яндекса». Визуально-языковая модель (VLM) находит нужные данные в графиках и диаграммах. Технология распознавания речи (ASR) применяется для аудио и видео. С текстом на картинках работает технология оптического распознавания символов (OCR).

Ответ на вопрос пользователя генерирует YandexGPT 5 Pro — последняя версия большой языковой модели «Яндекса». Объединить знания нейросети и найденные сведения из файлов и ссылок помогает RAG-система.

❓ Как оно работает по факту? Ну, делать саммари и обрабатывать базы знаний для LLM вещь не новая. Но даже на готовых примерах сразу заметил пару слабых мест. В базе знаний по китайским авто не смог вывести информацию о их ценах и характеристиках в виде таблицы или списка — чат-бот как будто понимал только прямые вопросы.

При этом кейс со сравнительной таблицей был в новостном пресс-релизе. Оказалось, что база знаний на 113 ссылок «видит» технические характеристики машин и их цены по отдельности, но почему-то в упор не хочет приводить их при сравнении. Пляска с разными промтами не помогла.

Вообще, по ощущениям, у YandexGPT что здесь, что в той же «Алисе» есть какая-то нездоровая привязка к конкретным фразам. Чуть меняешь формулировку и всё сразу сыпется. И это быстро портит весь экспириенс от работы с сервисом :(

🔤🔤Напомним, что в конце февраля компания зарегистрировала товарный знак «Нейроисследования». Тогда ходили слухи, что в «Яндексе» работают над своей версией режима Deep Research. Но пока мы получили работу со ссылками только в таком виде — первая ласточка грядущего релиза?

@anti_agi

На место SpaceX выстроилась очередь: SpaceTech-стартапы распустились по весне 🌸

SpaceX за 20 лет захватила рынок ракетных запусков в США, оттеснив таких гигантов, как Boeing и Lockheed Martin. В 2024 году компания провела 87% американских орбитальных запусков, доминирует в контрактах NASA и Пентагона, а также обслуживает коммерческих клиентов. Однако конкуренты не стоят на месте.

🚀 Кто бросает вызов?

Сразу несколько компаний разрабатывают ракеты, которые могут составить конкуренцию Falcon 9 и Falcon Heavy Илона Маска:

➖Rocket Lab рассчитывает запустить свою ракету Neutron в конце 2025 года. Она ориентирована на среднетяжёлые запуски и может перевозить до 13 тонн на низкую околоземную орбиту. В отличие от Falcon 9, первая ступень Neutron будет садиться на платформу в океане с использованием парашюта, а не вертикальной посадки.

➖ Blue Origin, компания Джеффа Безоса, 25 января 2024 года провела первый испытательный запуск своей тяжёлой ракеты New Glenn. Это было серьёзное испытание для Blue Origin, которая уже не первый год обещает составить конкуренцию SpaceX, но пока что не вышла на стабильные коммерческие запуски.

➖ Firefly Aerospace уже имеет контракты с NASA и Космическими силами США. Её ракета Alpha способна выводить до 1,2 тонны на низкую орбиту. Компания также разрабатывает MLV — среднетяжёлую ракету, которая сможет конкурировать с Falcon 9. В марте 2024 года Firefly стала второй частной компанией после SpaceX, которая смогла успешно посадить космический аппарат на Луну.

➖ Relativity Space делает ставку на 3D-печать: до 85% конструкции её ракеты Terran R создаётся с помощью аддитивного производства. Первый запуск намечен на 2026 год, а ракета сможет выводить до 23 тонн на низкую околоземную орбиту — больше, чем Falcon 9.

➖ Stoke Space разрабатывает полностью многоразовую двухступенчатую ракету Nova. Её первая ступень будет садиться вертикально, а вторая — возвращаться на Землю без потери компонентов. Первый тестовый запуск ожидается в 2025–2026 годах.

➖ United Launch Alliance продвигает Vulcan Centaur, которому уже назначены 80 миссий. Он использует двигатели Blue Origin, а его первый успешный запуск состоялся 8 января 2024 года. Пока Vulcan Centaur не многоразовый, но он дешевле устаревших ракет ULA (Atlas V и Delta IV), которые постепенно уходят в прошлое.

➖ Быстро наращивает мощности Китай: компании Space Pioneer и Cosmoleap разрабатывают свои версии многоразовых ракет и могут выйти на мировой рынок с более низкими ценами. Cosmoleap, например, тестирует систему захвата первой ступени «механическими палочками» прямо на стартовой площадке — аналог технологии, которую SpaceX разрабатывает для Starship.

🤔 Проблемы конкурентов

Мало запустить ракету (хотя и это, извините, не MVP-приложение разработать!) — нужно доказать её надёжность и доступность. Boeing столкнулась с проблемами Starliner: возвращение с МКС двух астронавтов, улетевших этим кораблем, превратилось в фарс. New Glenn от Blue Origin, несмотря на успешный дебют, пока далёк от регулярных полётов. Его первая ступень не смогла вернуться, а вторая застряла на орбите — не лучший старт для компании, которая много лет откладывала свой первый запуск. Даже SpaceX испытывает трудности: FAA несколько раз приостанавливала запуски Falcon 9 из-за технических сбоев.

К тому же, космос тесно завязан на госконтрактах и лоббировании. Илон Маск поддерживает тесные связи с Трампом и его администрацией, что может дать SpaceX дополнительные преимущества – от контрактов NASA до ослабления экологического и трудового надзора. В феврале появилась информация, что SpaceX может получить многомиллиардный контракт FAA, который ранее был у Verizon.

Правда, в политику можно и заиграться. Пошли сообщения, что Маск скоро отойдёт от своих обязанностей в Белом доме и вернётся к своим бизнес-проектам. Некоторые критики бизнесмена подозревают, что Маск стал слишком неудобен администрации Трампа. Как это отразится на бизнесах Маска, остается загадкой.