📄 ColQwen2: поиск по документам с учётом визуального оформления

ColQwen2 — это модифицированная версия модели ColPali, предназначенная для поиска документов по их визуальным признакам, а не только по тексту.

🔧 Как работает:
• Каждая страница обрабатывается как изображение
• Используется Qwen2-VL для извлечения не только текста, но и таблиц, графиков, макета
• Создаются мультивекторные эмбеддинги
• Поиск основан на сравнении этих векторов (late interaction)

📌 Зачем это нужно:
Такой подход помогает точнее находить нужные документы — особенно если они содержат сложную структуру, таблицы или нестандартный формат.

Подходит для:
– PDF-файлов
– Отсканированных документов
– Презентаций и отчётов с визуальными элементами

https://huggingface.co/docs/transformers/main/en/model_doc/colqwen2

@data_analysis_ml

#Qwen

🚀 AGI уже в 2025?

Сэм Альтман (OpenAI) и Илон Маск (xAI) — дали самые смелые прогнозы в индустрии.

Оба уверенно заявляют: AGI появится до конца 2025 года.

🧠 Альтман: "Теперь мы уверены, что знаем, как построить AGI"

🧠 DataTune — простой способ оптимизировать датасеты для ИИ

Это инструмент с открытым исходным кодом, который помогает улучшать качество датасетов для обучения LLM и других моделей.

Что делает DataTune:
▪ Автоматически находит и удаляет дубликаты
▪ Фильтрует нерелевантные, шумные и некачественные примеры
▪ Сортирует данные по «ценности» — оставляя то, что реально важно
▪ Работает с любыми текстовыми коллекциями (JSONL, TXT, HuggingFace Datasets)

🛠 Основан на embedding-моделях — сравнивает смысловую близость и уникальность примеров. Подходит для:
• Fine-tuning LLM
• Подготовки eval-наборов
• Фильтрации перед RAG

📦 Установка:

pip install datatune

https://github.com/vitalops/datatune

@data_analysis_ml

🧠 Cua — лёгкий open-source агентный фреймворк на Python

Cua — это минималистичный Python-фреймворк для создания LLM-агентов, ориентированный на простоту, прозрачность и модульность. Название «Cua» расшифровывается как Composable Universal Agents.

📦 Особенности:
• Всего ~1,000 строк кода — легко читать, расширять и встраивать
• Поддержка OpenAI, Anthropic, Mistral и других LLM-провайдеров
• Нативные компоненты: агент, память, инструменты, цепочки
• Интерфейс совместим с langchain и autogen, но гораздо проще

🚀 Что можно делать:
• Создавать собственных агентов и наделять их инструментами
• Интегрировать внешние API и базы данных
• Вести диалоги, обрабатывать документы, выполнять цепочки задач
• Быстро запускать эксперименты с собственными LLM-пайплайнами

🛠 Примеры в репозитории:
- Агент с памятью и функцией поиска
- Диалоговый бот с цепочкой инструкций
- Генерация кода на основе естественного языка
- Интеграция с HuggingFace и другими API

📚 Для кого подойдёт:
• Тем, кто ищет простой аналог LangChain
• Исследователям, которым нужно прозрачное поведение без «магии»
• Разработчикам, экспериментирующим с LLM-агентами

🔗 GitHub

Цена доставки изменилась за 3 минуты? Это не магия. Это Switcher

⏳ Как платформы влияют на нашу готовность платить?
📦 Что происходит «под капотом» Авито-доставки?
🧩 И как собрать ценообразование, когда пользователей — миллионы?

В кресле — Даша Пучкова, старший аналитик команды ценообразования доставки.
В фокусе — логика, данные и неожиданные эффекты от алгоритмов.
В голове — баланс между оптимизацией и пользовательским доверием.

Смотреть второй выпуск → по ссылке.

🤖 Eso-LMs — новая архитектура языковых моделей, объединяющая лучшее из autoregressive и diffusion-подходов

Исследователи представили Eso-LMs (Esoteric Language Models) — модель, которая совмещает два разных способа генерации текста:

🔹 Autoregressive (AR) — как GPT: генерирует токен за токеном
🔹 MDM (Masked Diffusion Models) — как диффузионные модели, восстанавливающие текст пошагово

Обычно эти подходы несовместимы, но Eso-LMs объединяет их с помощью:
- нового attention-механизма, который работает и для AR, и для MDM
- гибридной функции потерь, позволяющей переключаться между стилями генерации

💡 Что делает Eso-LMs уникальной:

⚡ В 65 раз быстрее, чем обычные diffusion-модели
⚡ В 4 раза быстрее, чем гибридные модели с KV-кэшем
📈 Генерирует качественный текст с низкой perplexity
💬 Умеет работать параллельно и быстро, без потерь в смысле

📦 Что внутри репозитория:

• Два варианта модели: Eso-LM (A) и Eso-LM (B)
• Поддержка разных архитектур: DiT, AR-трансформеры и др.
• Скрипты для обучения, оценки и генерации текстов
• Настройки, логи, загрузка данных и прочая инфраструктура

🛠 Это не просто ещё одна LLM — это попытка соединить два мира генерации текста и ускорить inference без потери качества.

🔗 Подробнее

🤖 Figure 02 уже сегодня сортирует, перемещает и анализирует десятки товаров одновременно

Наблюдая за такими роботами, сложно представить, что через год в логистике и на складах будут работать люди.
Скорость, с которой они развиваются, — просто ошеломляющая.

То, что ещё недавно казалось фантастикой, уже становится реальностью.
И происходит это быстрее, чем мы успеваем привыкнуть.

@data_analysis_ml

🎬 Tencent выложила в открытый доступ код и веса модели **HunyuanCustom** — инструмента для кастомизации видео, управляемого аудио или другим видео.

🔊 Модель может на лету изменять видео на основе звуковой дорожки
🎥 Или адаптировать ролик под другое видео-вход
🧠 Подходит для синхронизации движений губ, мимики, анимации по голосу и многого другого

В репозитории доступны:
• Инференс-код
• Весы модели
• Примеры и документация

📂 GitHub

Теперь кастомизация видео — это всего несколько строчек кода.

@data_analysis_ml

#Tencent #Hunyuan

🚀 MiniCPM4 — компактная LLM нового поколения

Модель от OpenBMB, которая работает в 5 раз быстрее на конечных устройствах. Отлично подходит для edge-решений и встраивания.

🔧 Что нового:

🏗️ InfLLM v2 — обучаемое разреженное внимание
🧠 Model Wind Tunnel 2.0 — масштабирование с предсказуемой эффективностью
🔢 BitCPM — ультракомпактная тернарная квантизация
📚 UltraClean + UltraChat v2 — чистые датасеты для преобучения и fine-tuning
⚡ CPM.cu + ArkInfer — лёгкий фреймворк для быстрого инференса на GPU и в проде

📖 Technical Report: https://github.com/OpenBMB/MiniCPM/blob/main/report/MiniCPM_4_Technical_Report.pdf
🤗 Models: https://huggingface.co/collections/openbmb/minicpm-4-6841ab29d180257e940baa9b
⭐ GitHub: https://github.com/OpenBMB/MiniCPM

@data_analysis_ml

#LLM #AI #MiniCPM4 #EdgeAI

🦖 Tokasaurus — универсальный токенизатор с поддержкой 70+ языков

Tokasaurus — это быстрый и лёгкий инструмент для токенизации текста, созданный на базе библиотеки tokenizers от Hugging Face. Он поддерживает более 70 языков программирования и естественных языков.

🔍 Что умеет Tokasaurus:

• ✂️ Разбивает текст на токены для языковых моделей
• 🧠 Поддерживает GPT-совместимые токенизаторы (tiktoken, BPE и другие)
• 🌍 Работает с Python, JavaScript, C++, Rust, Markdown, JSON, YAML и многими другими
• ⚡ Очень быстрый — написан на Rust с Python-обёрткой
• 📦 Используется как CLI, Python-библиотека или Web API


pip install tokasaurus

🧪 Пример использования (Python):

from tokasaurus import tokenize

tokens = tokenize("def hello(): print('Hi')", model="gpt2")
print(tokens)

🎯 Кому подойдёт:

• Тем, кто работает с LLM
• Для оценки длины prompt'ов
• Для предобработки кода и текста
• Для интеграции в пайплайны, IDE, аналитические инструменты

🔗 GitHub: github.com/ScalingIntelligence/tokasaurus

💡 Если тебе нужен универсальный и быстрый токенизатор — попробуй Tokasaurus.

@data_analysis_ml