Новый метод автоматического планирования маршрутов роботов в известных 3D-сценах с помощью визуально-языковых моделей (VLM) — типа GPT-4 или DALL-E 3 — позволяет роботам не просто следовать по заранее заданному пути а самостоятельно понимать, что и как осматривать

Как это работает?
1. Пользователь задаёт текстовое описание маршрута. Например, для инспекции туннеля в описании указано, что важны трещины, вентиляционные шахты и электрические панели — это точки интереса (POI).

2. Модель считывает их, потом определяет на изображении, где они и как расположены относительно друг друга. Обнаруженные ключевые точки преобразуются в граф возможных маршрутов, где отмечаются узлы, с которых видны нужные объекты.

3. Далее применяется задача коммивояжера (TSP) — модель выбирает оптимальные точки осмотра и составляет маршрут, который позволит роботу быстро и эффективно пройтись по всем ключевым зонам без лишних перемещений.

Авторы отмечают, что их метод сокращает время маршрута за счет улучшения на 12% плавности хода робота.

В чём новизна?
⚫️Модель предобучена на датасете объектов инспекций, поэтому может ориентировать робота в новых сценариях без дообучения.

⚫️Единая модель (VLM) обрабатывает текст и изображения совместно, а не работает отдельно с текстом и с изображениями. Это значит, что робот получает готовое понимание сцены и текста одновременно, без ожидания поочерёдной обработки каждого типа данных.

⚫️Метод ориентирован на точный и эффективный осмотр известных объектов, что важно для мониторинга инфраструктуры. В отличие от навигации в новых пространствах, здесь акцент на высокоточном планировании с учётом смысла и расположения объектов.

Метод планируется использовать для инспекций сложных объектов — туннелей, трубопроводов, электростанций, мониторинга крупных комплексов.

Нейросеть Archsynth превращает 2D-эскизы в детализированные 3D-рендеры всего за 14 секунд

Функционал:

⚫️Текст в изображение – просто опишите идею.
⚫️Дорисовка и ретушь — автоматически заполняет пробелы, улучшает качество.
⚫️ Генерация текстур — создает бесшовные узоры и материалы.
⚫️ Удаление фона.
⚫️ Интеграция с CAD — экспорт в SketchUp, Revit, Rhino.
⚫️BIM-модели — добавляет на них конструктивные детали.

Попробовать можно здесь

Cartesian.app — интерактивный учебник по алгоритмам и структурам данных, рассчитанный на самостоятельное онлайн-обучение

В нем более 700 страниц теории, сотни визуализаций и возможность писать и запускать код прямо в браузере. Учебник ориентирован на практику: сложные темы объясняются наглядно с помощью инфографики, а каждую идею можно тут же опробовать на практике.

⚫️Код можно редактировать и запускать прямо в тексте учебника.
⚫️Пошаговые визуализации: сложные алгоритмы и структуры данных сопровождаются анимациями и схемами.
⚫️Ясно и понятно — главное, знать английский язык.

Чему можно научиться
⚫️Реализовывать базовые и продвинутые алгоритмы (сортировки, поиск, динамическое программирование, графовые алгоритмы и др.).
⚫️Работать с основными структурами данных: массивы, списки, деревья, хеш-таблицы, графы.
⚫️Анализировать эффективность алгоритмов (асимптотика, сложность по времени и памяти).
⚫️И многому другому.

Подойдет новичкам и не только. Работает по VPN. Вы знаете, кому переслать➡️

#учимся