Для тех кто любит гиперлокальные данные, наконец-то доступны в открытом доступе наборы данных с хакатона СберИндекс.

Все данные в виде Parquet файлов
- Потребительские расходы на уровне МО: 8_consumption.parquet
- Индекс доступности рынков на уровне МО: 1_market_access.parquet
- Данные Росстата
- Население МО: 2_bdmo_population.parquet
- Миграция по МО: 3_bdmo_migration.parquet
- Заработная плата по МО: 4_bdmo_salary.parquet
- Автодорожные связи между МО: 5_connection.parquet

Там же можно увидеть результаты хакатона и команды победители. Я вот жалею что уже много лет участвую в таких мероприятиях только как организатор или ментор или член жюри. Сами данные куда интереснее.

Поскольку лично я очень люблю муниципальные данные, которые хотя бы чуть-чуть хорошие, то если Вы делаете что-то на муниципальных данных или использовали данные СберИндекса (и других источников) и, желательно, делали работу с открытым кодом, то пишите мне, с удовольствием расскажу об этом здесь в телеграм канале.

#opendata #dataviz #datasets #localdata

Я тут регулярно пишу про Dateno наш поисковик по открытым и иным общедоступным данным, у нас там сейчас уже более 22 миллионов датасетов, слоёв карт и временных рядов и мы работаем над расширением объёма. Однако есть и другой фронт работы - повышение удобства для пользователей. В моём изначальном видении пользователи хотят API (в самом деле ну какие пользователи не хотят API, лично я всегда использую API когда есть возможность). Сейчас наш основной API - это упрощённый поиск, им можно пользоваться чтобы находить данные и получив карточку записи выкачивать ресурсы.

Сейчас мы проектируем вторую версию API которое бы позволяло гораздо больше, в частности:
1. Предоставление MCP сервера для пользователей которые хотят подключить ИИ
2. Предоставление информации о всех срезах в базе данных (aggregations) для повышения удобства поиска.
3. Отдельный эндпоинт по выгрузке архивных данных
4. У нас есть отдельная база статистических индикаторов и временных рядов, с дополнительной навигацией и метаданными. Возможно расширенное API для доступа к именно к статистической базе данных. Она большая это, не просто индекс метаданных, но и сами данные
5. Расширенное API для поиска с продвинутым языком запросов (внутри Elastic, можно дать возможность делать запросы с языком запросов CQL)

Идей много, вопрос в том что нужно пользователям. Если Вы пользуетесь Dateno, и чего-то не хватает в API, напишите мне, мы обязательно учтём это при проектировании, а если не пользуетесь потому что чего-то не хватает, то тем более!

#dateno #opendata #datasearch #api

The Common Pile v0.1: An 8TB Dataset of Public Domain and Openly Licensed Text [1] для тех кому нужны большие данные для обучения ИИ. По ссылке статья и другие материалы про этот набор данных в 8 терабайт текстов.

Это если не крупнейший, то один из крупнейших наборов данных с текстами под разрешающими использование лицензиями (все, конечно, понимают что реально для ИИ используют не только разрешённое, но тем не менее).

Большая часть источников это:
- каталоги статей открытого доступа
- проекты Фонда Викимедия (Википедия и тд)
- открытые патентные базы
- базы судебных решений США
- базы книг до 1929 года

В основном все материалы на английском языке и происходящие из США. Более 30 источников.

Ссылки:
[1] https://huggingface.co/papers/2506.05209

#opendata #datasets #ai

Тем временем в Евросоюзе зарегистрировали торговую марку https://euipo.europa.eu/eSearch/#details/trademarks/019138690

Вроде как зарегистрировал какой-то итальянец Matteo Meschiari

#funny

Смотря на современные приложения, неважно, с открытым кодом или закрытым, я всё более прихожу к их классификации по типам интеграции с облаками и работе без интернета.

И эта классификация выглядит вот так:
- cloud-only - приложение не работает без облачного (SaaS) сервиса и превращается в кирпич при отсутствии интернета или сетевых ограничениях
- cloud-first - приложение сильно зависит от облачного сервиса, много теряет при его отсутствии, но что-то может делать и без него
- local-first - приложение которое всё может делать локально, но какие-то функции делает лучше при наличии доступа к внешним сервисам, включая облачные
- local-only - приложение не предусматривающее никого использования внешних сервисов. Для применения его с облачными и SaaS сервисами пользователь должен сделать набор осознанных действий явным образом

Относится к этому можно как то что cloud-only продукты - это то что является одной из приоритетных бизнес моделей у современных стартапов, в том числе с открытым кодом и любое продвижение их это как бесплатный маркетинг продуктов с зависимостью (там всегда подписочная модель).

А local-only - это выбор параноиков и фанатиков. Параноики те кто эксплуатируют ПО в средах без Интернета, а фанатики бывают разные, но в основном те кто категорически ненавидят бигтехи и AI-техи.

Всё остальное - это шкала градаций между ними и относится к этому стоит как то что local-only подход всё более дискомфортен для разработчиков ПО. По разным причинам: низкие доходы, сложности сопровождения, ограничения в выборе инструментов разработки и тд. А cloud-only идёт против интересов квалифицированного пользователя работа которого всё более зависит от облачных сервисов которыми он управляет всё менее.

По моему личному опыту все лучшие продукты сейчас - это local-first. Условно когда я могу подключить приложение к локальной ИИ модели через Ollama или к облачной одного из провайдеров. Задача возникающая не абстрактно, а из реального кейса разработчиков одного из инструментов работы с данными и обсуждающих режим работы local-only поставку языковой модели вместе с продуктом.

Всё это очень важно когда речь идёт о каких-либо продуктах с открытым кодом и оценке зависимости от внешних сервисов собственной инфраструктуры.

#data #opensource #clouds

Свежий инструмент от HuggingFace - AI Sheets позволяет работать с табличными данными с помощью ИИ. Поддерживает базовые операции вроде перевода содержания колонок, суммаризация и извлечение ключевых слов, и не базовые через prompt запросы. Потенциально - альтернатива Excel/Airtable/OpenRefine для задач чистки и обогащения данных.

Минус - всё в облаке, для тех у кого чувствительные данные
Плюс - всё в облаке, для тех у кого и так данные в Hugging Face

#datanalytics #dataengineering #ai

В рубрике как это устроено у них 404Media пишет о том Airlines Reporting Corporation (ARC), брокер данных для американских авиакомпаний таких как Delta, American Airlines и United продали данных о пассажирах CBP, Customs and Border Protection (Службе таможни и защиты границы) которая является частью Департамента внутренней безопасности США (DHS).

Данные включают имена пассажиров, все данные перелёта и финансовые детали их полётов. Причём контракт был заключён в июне 2024 года и продлится до 2029 года. А раскопали это журналисты анализируя базу госконтрактов США, в статье больше подробностей.

Сама статья требует регистрации так что прилагаю её в PDF для тех кто регистрироваться не хочет.

В чём разница практик работы с правоохранителей с данными? В США органы безопасности покупают данные у частных владельцев и все участники этого процесса стараются это не афишировать, но иногда это всплывает. Анализировать базы полетов целиком, конечно, им гораздо удобнее, чем запрашивать данные по конкретным лицам.

В России регуляторы поступают гораздо проще, просто требуя сдавать данные куда надо и сопротивляться этому у бизнеса возможностей немного, особенно если сам бизнес государственный или с госучастием.

А теперь, перейдем к неожиданной теме, экономике данных. В США настоящая экономика данных потому что есть брокер данных и у него есть покупатель/покупатели приобретающий этот и иные дата продукты. Государство является крупнейшим покупателем, причём вполне возможно что чуть ли не основным маркетмэйкером. Иначе говоря экономика данных предполагает наличие оборота данных в рамках экономических отношений.

А в России сейчас то что называется экономикой данных - это административная экономика. Поскольку федеральное правительство идёт по пути изъятия данных у бизнеса в собственных интересах и ограничивая оборот данных между частными компаниями. Собственно когда говорят про регулирование правильно читать это как ограничения.

А с точки зрения гражданина все эти практики одинаково порочны.

#dataeconomy #data #privacy #USA #airlines

В рубрике доступных открытых геоданных в России:
- Открытые данные Енисей-ГИС - каталог геоданных, включая Shape файлы и точки подключения к сервисам WMS в ГИС Красноярского края - Енисей ГИС. Набрров данных несколько десятков и несколько десятков слоёв карт доступных через WMS сервисы
- Геопортал СВКНИИ ДВО РАН каталог геоданных на базе Esri Geoportal, включает 34 ресурса в виде ссылок на слои карт в разных ArcGIS серверах.
- Общедоступный ArcGIS сервер Мурманской области - над ним ещё был геопортал, но он закрылся или переехал, а сервисы со слоями карт ArcGIS REST остались
- Геосервер Института водных и экологических проблем СО РАН - слои карт в виде WMS и WFS сервисов
- Геосервер ФГБУ "ДВНИГМИ" - геоданные по морским территориям Дальнего Востока, также WMS и WFS сервисы
- Геосервер Центра по проблемам экологии и продуктивности лесов РА - слои карты и WMS/WFS сервисы

#opendata #geodata #datasets #maps