Forwarded from Спутник ДЗЗ
Глобальная ансамблевая цифровая модель рельефа GEDTM30
Глобальная ансамблевая цифровая модель рельефа (ЦМР) с пространственным разрешением 30 м, GEDTM30, (Global Ensemble Digital Terrain Model 30 m) создана при помощи ЦМР Copernicus, ALOS World3D и модели высот объектов в рамках подхода слияния данных. В рамках глобально-локальной модели трансферного обучения с чередованием 5°×5° использовались глобально распределенные наборы лидарных данных: ICESat-2 ATL08 (наилучшая высота местности) и GEDI02 (наименьшая высота — lowest mode elevation), насчитывающие в общей сложности более 30 миллиардов обучающих точек. Первоначально была подобрана глобальная модель с использованием ICESat-2 и GEDI, а затем локальные оптимизированные модели для каждого тайла, обеспечивающие как глобальную согласованность, так и локальную точность.
Независимая проверка показала, что GEDTM30 снижает среднеквадратичную ошибку (RMSE) ЦМР Copernicus примерно на 25,4% в районах городской застройки, на 10,0% в районах с 10–50% древесного покрова и на 27,3% в районах с более чем 50% древесного покрова. По сравнению с современными ЦМР (MERIT DEM, FABDEM и FathomDEM), GEDTM30 достигает наименьших вертикальных ошибок при оценке с помощью записей GNSS-станций, что дает стандартное отклонение 7,77 м, RMSE 10,69 м и среднюю ошибку 7,34 м.
Затем GEDTM30 использовалась для расчета 15 стандартных параметров поверхности земли — топографии и гидрологии — в шести масштабах (30, 60, 120, 240, 480 и 960 м).
Весь рабочий процесс был реализован на языке Python с использованием GDAL и Whitebox Workflows.
Данные и код GEDTM30 находятся в открытом доступе в виде облачно оптимизированных GeoTIFF
🔗 Скачать GEDTM30 на Zenodo
🖥 Код для создания GEDTM30 на GitHub
📖 Методика создания GEDTM30
🙏 Благодарим за наводку Евгения Матерова, ведущего тг-канал Наука и данные.
#DEM #данные
Глобальная ансамблевая цифровая модель рельефа (ЦМР) с пространственным разрешением 30 м, GEDTM30, (Global Ensemble Digital Terrain Model 30 m) создана при помощи ЦМР Copernicus, ALOS World3D и модели высот объектов в рамках подхода слияния данных. В рамках глобально-локальной модели трансферного обучения с чередованием 5°×5° использовались глобально распределенные наборы лидарных данных: ICESat-2 ATL08 (наилучшая высота местности) и GEDI02 (наименьшая высота — lowest mode elevation), насчитывающие в общей сложности более 30 миллиардов обучающих точек. Первоначально была подобрана глобальная модель с использованием ICESat-2 и GEDI, а затем локальные оптимизированные модели для каждого тайла, обеспечивающие как глобальную согласованность, так и локальную точность.
Независимая проверка показала, что GEDTM30 снижает среднеквадратичную ошибку (RMSE) ЦМР Copernicus примерно на 25,4% в районах городской застройки, на 10,0% в районах с 10–50% древесного покрова и на 27,3% в районах с более чем 50% древесного покрова. По сравнению с современными ЦМР (MERIT DEM, FABDEM и FathomDEM), GEDTM30 достигает наименьших вертикальных ошибок при оценке с помощью записей GNSS-станций, что дает стандартное отклонение 7,77 м, RMSE 10,69 м и среднюю ошибку 7,34 м.
Затем GEDTM30 использовалась для расчета 15 стандартных параметров поверхности земли — топографии и гидрологии — в шести масштабах (30, 60, 120, 240, 480 и 960 м).
Весь рабочий процесс был реализован на языке Python с использованием GDAL и Whitebox Workflows.
Данные и код GEDTM30 находятся в открытом доступе в виде облачно оптимизированных GeoTIFF
🔗 Скачать GEDTM30 на Zenodo
🖥 Код для создания GEDTM30 на GitHub
📖 Методика создания GEDTM30
🙏 Благодарим за наводку Евгения Матерова, ведущего тг-канал Наука и данные.
#DEM #данные
{targets} 🎯
Многое из того, что делается с помощью языков программирования, - это шаблоны действий, и {targets} позволяет определить свой конвейер для автоматизации как серию вызовов R (например, для создания больших отчетов). Руководство The {targets} R package user manual и презентация (автор Will Landau) (+доклад) дают очень хорошее введение в библиотеку.
Сейчас идеология {targets} приходит и в другие области R, например, на CRAN выходят библиотеки:
▫️ {geotargets} расширяя {targets} для работы с геопространственными форматами данных, такими как растры и векторы;
▫️ {rixpress} для определения воспроизводимых аналитических конвейеров (автор Bruno Rodrigues).
Многое из того, что делается с помощью языков программирования, - это шаблоны действий, и {targets} позволяет определить свой конвейер для автоматизации как серию вызовов R (например, для создания больших отчетов). Руководство The {targets} R package user manual и презентация (автор Will Landau) (+доклад) дают очень хорошее введение в библиотеку.
Сейчас идеология {targets} приходит и в другие области R, например, на CRAN выходят библиотеки:
▫️ {geotargets} расширяя {targets} для работы с геопространственными форматами данных, такими как растры и векторы;
▫️ {rixpress} для определения воспроизводимых аналитических конвейеров (автор Bruno Rodrigues).
STHDA / Datanovia
Alboukadel Kassambara - известный автор отличных книг Practical Guide To Principal Component Methods in R, Practical Guide to Cluster Analysis in R и других, а также библиотек {factoextra} для анализа главных компонент и кластерного анализа, {ggpubr} - библиотеки для визуализации данных в R, в свое время создал веб-сайт STHDA, который содержит массу различных руководств по R.
Увы, с переездом сайта STHDA на Datanovia, сделанном на Quarto, нельзя не заметить торчащие уши Quarto-странички, видимо переезд еще не закончен, однако здесь появилась, например, мини-книга Mastering R in VSCode: A Complete Guide (думаю будет актуальна и для пользователей Positron) и ряд новых руководств.
Alboukadel Kassambara - известный автор отличных книг Practical Guide To Principal Component Methods in R, Practical Guide to Cluster Analysis in R и других, а также библиотек {factoextra} для анализа главных компонент и кластерного анализа, {ggpubr} - библиотеки для визуализации данных в R, в свое время создал веб-сайт STHDA, который содержит массу различных руководств по R.
Увы, с переездом сайта STHDA на Datanovia, сделанном на Quarto, нельзя не заметить торчащие уши Quarto-странички, видимо переезд еще не закончен, однако здесь появилась, например, мини-книга Mastering R in VSCode: A Complete Guide (думаю будет актуальна и для пользователей Positron) и ряд новых руководств.
В {tidymodels} можно почувствовать себя "агрономом", потерявшимся в поле факторов: {parsnip} 🌱 VS {maize} 🌽.
Можно подумать что картинка относится одному известному руководству, но это далеко не так!
С 1 апреля!
Можно подумать что картинка относится одному известному руководству, но это далеко не так!
С 1 апреля!
DataBrewer Gallery ⛱️
Вебсайт DataBrewer содержит набор очень красивых визуализаций (и не только, например, тут есть небольшие руководства), сопровождаемых кодом на R и пошаговыми инструкциями.
👉 Напомню, что начался 30DayChartChallenge.
Вебсайт DataBrewer содержит набор очень красивых визуализаций (и не только, например, тут есть небольшие руководства), сопровождаемых кодом на R и пошаговыми инструкциями.
👉 Напомню, что начался 30DayChartChallenge.
Lisa Hornung 🍁
Мне очень нравится репозиторий, который ведет Lisa Hornung. Это хранилище небольших проектов по анализу и визуализации данных, порой необычных или забавных, в основном для тестирования библиотек и создания новых типов визуализаций. Здесь особенно то, что главный инструмент Лизы - Python!
Мне очень нравится репозиторий, который ведет Lisa Hornung. Это хранилище небольших проектов по анализу и визуализации данных, порой необычных или забавных, в основном для тестирования библиотек и создания новых типов визуализаций. Здесь особенно то, что главный инструмент Лизы - Python!
Top R Graph Examples: A Curated Collection 🔥
Загляните в галерею, которую собрал Yan Holtz на странице The R Graph Gallery, сделанную чтобы продемонстрировать лучшие графики, которые выполнены с помощью R.
Помимо миниатюр, авторов и описаний, на сайте есть ссылки на руководства с шаблонами и фрагментами кода, чтобы воссоздать графики самостоятельно.
Загляните в галерею, которую собрал Yan Holtz на странице The R Graph Gallery, сделанную чтобы продемонстрировать лучшие графики, которые выполнены с помощью R.
Помимо миниатюр, авторов и описаний, на сайте есть ссылки на руководства с шаблонами и фрагментами кода, чтобы воссоздать графики самостоятельно.
Forwarded from Спутник ДЗЗ
Поиск информации о землетрясениях
28 марта 2025 года произошло разрушительное землетрясение в Мьянме. Напомним веб-ресурсы, помогающие искать информацию о землетрясениях и ликвидации их последствий.
🏚 Поиск землетрясений. Самую оперативную и полную информацию о землетрясениях по всему миру можно получить в USGS Earthquake Catalog (https://earthquake.usgs.gov/earthquakes/search/). Подробнее — здесь. 1️⃣ О землетрясении в Мьянме — здесь.
📸 Данные дистанционного зондирования и аналитика на их основе — Международная хартия по космосу и крупным катастрофам (The International Charter: Space And Major Disasters). Вот список ее активаций, а вот 2️⃣ данные по землетрясению в Мьянме.
🌍 Мониторинг последствий чрезвычайных ситуаций — ReliefWeb (https://reliefweb.int/disasters) — сервис мониторинга чрезвычайных ситуаций, который поддерживается Office for the Coordination of Humanitarian Affairs (OCHA) при ООН.
3️⃣ Информация о землетрясении в Мьянме.
🌍 Copernicus Emergency Management Service — служба управления чрезвычайными ситуациями (Emergency Management Service, EMS) Copernicus снабжает информацией для ликвидации последствий чрезвычайных ситуаций природного и техногенного характера.
4️⃣ О землетрясении в Мьянме.
5️⃣ А вот сообщение д-ра Эрика Филдинга (Eric J. Fielding). В рамках проекта NASA JPL ARIA (https://aria.jpl.nasa.gov) на основе анализа данных оптических снимков Copernicus Sentinel-2 и радарных снимков Sentinel-1 построена предварительная карта смещений по разлому Сагаинг (Sagaing) в Мьянме. Разлом разорвался на расстоянии около 500 км во время землетрясения магнитудой 7,7 28 марта 2025 года. Красным выделено движение на север, синим — на юг. Это измерения горизонтальных смещений по пиксельному смещению или корреляции оптических изображений.
Благодарим за наводку Евгения Матерова, ведущего тг-канал Наука и данные.
#ЧС
28 марта 2025 года произошло разрушительное землетрясение в Мьянме. Напомним веб-ресурсы, помогающие искать информацию о землетрясениях и ликвидации их последствий.
🏚 Поиск землетрясений. Самую оперативную и полную информацию о землетрясениях по всему миру можно получить в USGS Earthquake Catalog (https://earthquake.usgs.gov/earthquakes/search/). Подробнее — здесь. 1️⃣ О землетрясении в Мьянме — здесь.
📸 Данные дистанционного зондирования и аналитика на их основе — Международная хартия по космосу и крупным катастрофам (The International Charter: Space And Major Disasters). Вот список ее активаций, а вот 2️⃣ данные по землетрясению в Мьянме.
🌍 Мониторинг последствий чрезвычайных ситуаций — ReliefWeb (https://reliefweb.int/disasters) — сервис мониторинга чрезвычайных ситуаций, который поддерживается Office for the Coordination of Humanitarian Affairs (OCHA) при ООН.
3️⃣ Информация о землетрясении в Мьянме.
🌍 Copernicus Emergency Management Service — служба управления чрезвычайными ситуациями (Emergency Management Service, EMS) Copernicus снабжает информацией для ликвидации последствий чрезвычайных ситуаций природного и техногенного характера.
4️⃣ О землетрясении в Мьянме.
5️⃣ А вот сообщение д-ра Эрика Филдинга (Eric J. Fielding). В рамках проекта NASA JPL ARIA (https://aria.jpl.nasa.gov) на основе анализа данных оптических снимков Copernicus Sentinel-2 и радарных снимков Sentinel-1 построена предварительная карта смещений по разлому Сагаинг (Sagaing) в Мьянме. Разлом разорвался на расстоянии около 500 км во время землетрясения магнитудой 7,7 28 марта 2025 года. Красным выделено движение на север, синим — на юг. Это измерения горизонтальных смещений по пиксельному смещению или корреляции оптических изображений.
Благодарим за наводку Евгения Матерова, ведущего тг-канал Наука и данные.
#ЧС
{rix} 🦬
Иногда возникают ситуации, когда необходима определенная версия (устаревшей) R-библиотеки или нужно создать полностью воспроизвести среду, специфичную для проекта, с пользовательской версией R и всеми системными зависимостями (например, GDAL) и развернуть на другой машине. Как тут быть? Для нескольких версий R можно воспользоваться {rig}, для клонирования среды - Docker, однако есть еще вариант! Bruno Rodrigues написал книгу по воспроизводим средам в R, а теперь разрабатывает библиотеку {rix} на основе Nix (см. также доклад + презентация)
В отличие от {renv}, который делает снимки версий библиотек, {rix} предоставляет снимок всей экосистемы, включая зависимости на уровне системы, упрощая создание выражений Nix (который включает почти все библиотеки CRAN и Bioconductor), определяющих воспроизводимые среды. Работе с {rix} посвящено множество статей блога Bruno, а недавно он анонсировал {rixpress} - библиотеку для воспроизводимых аналитических конвееров.
Иногда возникают ситуации, когда необходима определенная версия (устаревшей) R-библиотеки или нужно создать полностью воспроизвести среду, специфичную для проекта, с пользовательской версией R и всеми системными зависимостями (например, GDAL) и развернуть на другой машине. Как тут быть? Для нескольких версий R можно воспользоваться {rig}, для клонирования среды - Docker, однако есть еще вариант! Bruno Rodrigues написал книгу по воспроизводим средам в R, а теперь разрабатывает библиотеку {rix} на основе Nix (см. также доклад + презентация)
В отличие от {renv}, который делает снимки версий библиотек, {rix} предоставляет снимок всей экосистемы, включая зависимости на уровне системы, упрощая создание выражений Nix (который включает почти все библиотеки CRAN и Bioconductor), определяющих воспроизводимые среды. Работе с {rix} посвящено множество статей блога Bruno, а недавно он анонсировал {rixpress} - библиотеку для воспроизводимых аналитических конвееров.
Docker + R = {dockitect} 🐋
Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.
Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.
🐙 GitHub репозиторий
✍️ Страница библиотеки
Если вы используете Docker в R, то наверняка слышали про экосистему контейнеров Rocker Project (Docker Containers for the R Environment), однако как сделать, чтобы создание и управление Docker файлами стало естественным продолжением вашего рабочего процесса R? Написание Docker файла вручную может быть утомительным и подверженным ошибкам процессом, особенно когда вам нужно включить специфические для R требования, такие как зависимости библиотек.
Новая библиотека {dockitect} предлагает программный, удобный для конвейеров подход к созданию конфигураций Docker непосредственно из R. Автор проекта James Balamuta сделал подробное описание в статье Introducing dockitect: Making Docker Feel More Native to R.
🐙 GitHub репозиторий
✍️ Страница библиотеки
Хорошие новости для разработчиков Shiny 🌟
1. Джеймс Баламута представил (помимо библиотеки {dockitect}, о которой уже была статья) еще один экспериментальный проект R - библиотеку {shinydocker}, которая призвана автоматизировать процесс контейнеризации как для приложений R Shiny, так и для Shiny for Python. Что делает библиотека {dockitect}:
- Автоматически определяет, создано ли ваше приложение на R или Python
- Создает соответствующие файлы конфигурации Docker
- Создает образ Docker
- Запускает контейнер с вашим приложением
- Предоставляет URL-адрес для доступа к запущенному приложению
📃 Статья: Rethinking Shiny Containerization: The shinydocker Experiment
📚 Библиотека: {shinydocker}
2. Кайл Уокер в новой статье Building an AI-powered location explorer with Shiny and Claude рассказывает, как интегрировать совершенно новые инструменты, такие как библиотеки {ellmer} и {shinychat} в интерактивные приложения Shiny, которые объединяют пространственные данные и идеи на основе ИИ. Например, всего 69 строчек кода позволяет сделать приложение, которое позволяет пользователям искать местоположения и получать информацию о них.
🫣 Это как раз тот случай, когда не поспеваешь за новостями!
1. Джеймс Баламута представил (помимо библиотеки {dockitect}, о которой уже была статья) еще один экспериментальный проект R - библиотеку {shinydocker}, которая призвана автоматизировать процесс контейнеризации как для приложений R Shiny, так и для Shiny for Python. Что делает библиотека {dockitect}:
- Автоматически определяет, создано ли ваше приложение на R или Python
- Создает соответствующие файлы конфигурации Docker
- Создает образ Docker
- Запускает контейнер с вашим приложением
- Предоставляет URL-адрес для доступа к запущенному приложению
📃 Статья: Rethinking Shiny Containerization: The shinydocker Experiment
📚 Библиотека: {shinydocker}
2. Кайл Уокер в новой статье Building an AI-powered location explorer with Shiny and Claude рассказывает, как интегрировать совершенно новые инструменты, такие как библиотеки {ellmer} и {shinychat} в интерактивные приложения Shiny, которые объединяют пространственные данные и идеи на основе ИИ. Например, всего 69 строчек кода позволяет сделать приложение, которое позволяет пользователям искать местоположения и получать информацию о них.
🫣 Это как раз тот случай, когда не поспеваешь за новостями!
Data Visualization & Communication ✨
Веб-сайт курса Data Visualization & Communication, который в зимнем семестре вела Sam Shanny-Csik вместе с коллегами, на мой взгляд, один из самых лучших курсов не только по визуализации данных, но и среди многих других аналогичных курсов по Data Science.
Курс нацелен на создание эффективных визуализаций, начиная от вопросов, какие типы визуализации наиболее подходят для ваших данных, до создания графиков в {ggplot2} и его расширениях.
👉 Те, кто готовит свои собственные курсы, обратите внимание - здесь все на высоте: проработанность материала, список ресурсов, задания, оформление, очень подробный и качественно сделанный материал.
Веб-сайт курса Data Visualization & Communication, который в зимнем семестре вела Sam Shanny-Csik вместе с коллегами, на мой взгляд, один из самых лучших курсов не только по визуализации данных, но и среди многих других аналогичных курсов по Data Science.
Курс нацелен на создание эффективных визуализаций, начиная от вопросов, какие типы визуализации наиболее подходят для ваших данных, до создания графиков в {ggplot2} и его расширениях.
👉 Те, кто готовит свои собственные курсы, обратите внимание - здесь все на высоте: проработанность материала, список ресурсов, задания, оформление, очень подробный и качественно сделанный материал.
{gt} 1.0.0 🔥
Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:
🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp
Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍
Must have! 🌟
ожидаем на этой неделе еще один большой релиз!
Обновилась до версии 1.0.0 библиотека {gt}, которая не нуждается в особом представлении - это, пожалуй, лучшая библиотека для создания статических таблиц, обладающая той же философией, что и {ggplot2} - послойного построения компонентов таблиц. Большой анонс еще, видимо, будет, а пока можно почитать:
🔘 огромное количество статей по {gt} в блоге Posit
🔘 статьи по {gt} и {gtExtras}, которые написал Tom Mock в своем блоге
🔘 книгу Creating beautiful tables in R with {gt}, автор которой Albert Rapp
Библиотека так полюбилась многим пользователям, что авторы {gt} сделали аналогичную библиотеку Great Table для Python (см. видеообзор: видео 1 + видео 2 + видео 3), так и пишут - Absolutely Delightful Table-making in Python. 🐍
Must have! 🌟
Pointblank - валидация данных в R / Python
Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.
Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.
Качество данных - один из главных залогов успеха в Data Science. Библиотека Pointblank - настоящая находка, она служит настройки конвейеров проверки данных и может помочь обнаружить и устранить такие распространенные ошибки, как дублирование или повреждение данных. Создается агент, которому предоставляется набор функций проверки для определения шагов проверки. Отчетность сделана на очень высоком уровне. При этом библиотека также позволяет указывать правила в отдельном файле YAML, что может дополнительно повысить переносимость между проектами. Пример работы можно посмотреть в блоге Эмили Ридерер.
Теперь Pointblank доступен и на Python в PyPI как библиотека, примеры валидации данных можно посмотреть на сайте.