Как собрать ETL-процессы в Apache Airflow и перестать страдать
Оркестрация процессов в Apache Airflow — мощный инструмент для управления данными. Но как внедрить его так, чтобы процессы стали прозрачными, гибкими и удобными для команд? Как организовать ETL-пайплайны, чтобы они легко масштабировались и адаптировались под нужды аналитиков, ML-инженеров и других специалистов?
Если вы только начинаете работать с Airflow или хотите улучшить свои подходы, то эта статья поможет взглянуть на оркестрацию процессов под новым углом.
📌 Подробнее: https://habr.com/ru/companies/cian/articles/880382/
MemOps🤨
Оркестрация процессов в Apache Airflow — мощный инструмент для управления данными. Но как внедрить его так, чтобы процессы стали прозрачными, гибкими и удобными для команд? Как организовать ETL-пайплайны, чтобы они легко масштабировались и адаптировались под нужды аналитиков, ML-инженеров и других специалистов?
Если вы только начинаете работать с Airflow или хотите улучшить свои подходы, то эта статья поможет взглянуть на оркестрацию процессов под новым углом.
📌 Подробнее: https://habr.com/ru/companies/cian/articles/880382/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Как собрать ETL-процессы в Apache Airflow и перестать страдать
Оркестрация процессов в Apache Airflow — мощный инструмент для управления данными. Но как внедрить его так, чтобы процессы стали прозрачными, гибкими и удобными для команд? Как организовать...
Please open Telegram to view this post
VIEW IN TELEGRAM
Разбираем лучшие практики с Amazon Q в AWS Console
В статье рассказывается о том, как AI-ассистент Amazon Q внутри AWS Console ускоряет работу разработчиков и архитекторов. Amazon Q советует по AWS-сервисам, генерирует код и автоматизирует команды CLI. Узнайте, как эффективно использовать этот инструмент для оптимизации рабочих процессов и повышения производительности.
📌 Подробнее: https://aws.amazon.com/blogs/devops/learning-aws-best-practices-from-amazon-q-in-the-console/
MemOps🤨
В статье рассказывается о том, как AI-ассистент Amazon Q внутри AWS Console ускоряет работу разработчиков и архитекторов. Amazon Q советует по AWS-сервисам, генерирует код и автоматизирует команды CLI. Узнайте, как эффективно использовать этот инструмент для оптимизации рабочих процессов и повышения производительности.
📌 Подробнее: https://aws.amazon.com/blogs/devops/learning-aws-best-practices-from-amazon-q-in-the-console/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Amazon
Learning AWS best practices from Amazon Q in the Console | Amazon Web Services
Operators, administrators, developers, and many other personas leveraging AWS come across multiple use cases and common issues such as lack of permissions, bugs in code in AWS Lambda, and more when leveraging the AWS console. To help alleviate this burden…
Привет, DevOps энтузиасты! 🌍✨
🏗 Добро пожаловать в DevOps 360° - место, где ваши вопросы находят ответы, а идеи встречаются с поддержкой! 🚀
🔍 Ищете помощь с рабочими задачами? Мы здесь, чтобы разобраться в них вместе! Погрузитесь в обсуждения о CI/CD, контейнерах, облачных решения и не только. Наша цель — помочь друг другу достичь успеха в этой быстро развивающейся сфере!
🤗 Забудьте о токсичном общении! У нас царит атмосфера доверия и дружеской поддержки. Уважение друг к другу — наш приоритет! 💬❤️
🎉 Присоединяйтесь к нам! В нашем канале вы найдете:
- 💡 Полезные советы и фишки
- 🔧 Решения для сложных задач
- 🤝 Возможности для networking и обмена опытом
- 🌈 Дружескую атмосферу без негатива!
🔥 Не упустите шанс стать частью нашей дружной комьюнити! Ждем вас в DevOps 360°! Ваш путь к успеху начинается здесь! 💪
👉 Присоединяйтесь к нам!
#DevOps #Сообщество #Поддержка #Успех #БезТоксичности
🏗 Добро пожаловать в DevOps 360° - место, где ваши вопросы находят ответы, а идеи встречаются с поддержкой! 🚀
🔍 Ищете помощь с рабочими задачами? Мы здесь, чтобы разобраться в них вместе! Погрузитесь в обсуждения о CI/CD, контейнерах, облачных решения и не только. Наша цель — помочь друг другу достичь успеха в этой быстро развивающейся сфере!
🤗 Забудьте о токсичном общении! У нас царит атмосфера доверия и дружеской поддержки. Уважение друг к другу — наш приоритет! 💬❤️
🎉 Присоединяйтесь к нам! В нашем канале вы найдете:
- 💡 Полезные советы и фишки
- 🔧 Решения для сложных задач
- 🤝 Возможности для networking и обмена опытом
- 🌈 Дружескую атмосферу без негатива!
🔥 Не упустите шанс стать частью нашей дружной комьюнити! Ждем вас в DevOps 360°! Ваш путь к успеху начинается здесь! 💪
👉 Присоединяйтесь к нам!
#DevOps #Сообщество #Поддержка #Успех #БезТоксичности
Поднимаем потоковый сервис Kafka на Python
Senior ML Engineer познакомит вас с Apache Kafka, напишет демо пример Kafka Consumer'а на Python и запустит его в облачном сервисе Confluent Cloud.
📌 Подробнее: https://habr.com/ru/articles/880700/
MemOps🤨
Senior ML Engineer познакомит вас с Apache Kafka, напишет демо пример Kafka Consumer'а на Python и запустит его в облачном сервисе Confluent Cloud.
📌 Подробнее: https://habr.com/ru/articles/880700/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Поднимаем потоковый сервис Kafka на Python
Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech в платформе ставок для рекламы и автор ТГ канала ML Advertising . По долгу службы приходится сталкиваться с...
Автоматизируй всё! Настройка CI-CD в Unity для ленивых (и умных) разработчиков. Часть первая
В этой статье разбирают, что такое CI/CD, какие сервисы доступны Unity-разработчикам и как сделать процесс релизов быстрее и удобнее. Также рассматривают как внедрение автоматизации упростило процесс релиза в компании.
📌 Подробнее: https://habr.com/ru/articles/880792
MemOps🤨
В этой статье разбирают, что такое CI/CD, какие сервисы доступны Unity-разработчикам и как сделать процесс релизов быстрее и удобнее. Также рассматривают как внедрение автоматизации упростило процесс релиза в компании.
📌 Подробнее: https://habr.com/ru/articles/880792
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Автоматизируй всё! Настройка CI-CD в Unity для ленивых (и умных) разработчиков. Часть первая
Привет, читатель! Уже три года я работаю лидом на проекте, который стремительно развивается. Изначально у нас было всего две сборки — для Android и iOS. Однако со временем проект значительно вырос: на...
Новая версия Docker Desktop 4.38
▪️ Интеграция с AI Agent: теперь разработчики могут использовать AI Agent непосредственно в Docker Desktop.
▪️ Многоузловой Kubernetes: добавлена поддержка развертывания и управления многоузловыми кластерами Kubernetes.
▪️ Bake в GA: функция Bake достигла статуса General Availability.
📌 Подробнее: https://www.docker.com/blog/docker-desktop-4-38/
MemOps🤨
▪️ Интеграция с AI Agent: теперь разработчики могут использовать AI Agent непосредственно в Docker Desktop.
▪️ Многоузловой Kubernetes: добавлена поддержка развертывания и управления многоузловыми кластерами Kubernetes.
▪️ Bake в GA: функция Bake достигла статуса General Availability.
📌 Подробнее: https://www.docker.com/blog/docker-desktop-4-38/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Docker
Docker Desktop 4.38 Release | Docker
Docker Desktop 4.38 brings Docker AI Agent for real-time help, plus Bake for faster builds and Multi-Node Kubernetes for better testing. Learn more!
«Вспомнить всё»: доступный разбор первоисточника стандарта OSI (часть 1)
Когда возникает вопрос про модель OSI и начинаешь гуглить, поисковик выдаёт достаточно однотипные статьи с описанием 7-ми уровней. Для большинства задач с целью ознакомления этого достаточно, но эта статья даёт понимание «откуда растут ноги». Путём разбора документа ISO/IEC 7498–1:1994, который описывает эталонный стандарт OSI.
Важно отметить для новчиков, что документ ISO/IEC 7498–1:1994 создан для унификации подходов к проектированию, а не для прямого внедрения. То есть, он не описывает конкретные технологии, а задаёт рамки. МодельTCP/IP, которая доминирует в интернете, развивалась параллельно и упростила модель OSI. Это не ошибка, а реализация подхода. В эталонном стандарте OSI описывается некий «идеал», а практическая реализация решает конкретные задачи.
📌 Подробнее: https://habr.com/ru/articles/880936/
MemOps🤨
Когда возникает вопрос про модель OSI и начинаешь гуглить, поисковик выдаёт достаточно однотипные статьи с описанием 7-ми уровней. Для большинства задач с целью ознакомления этого достаточно, но эта статья даёт понимание «откуда растут ноги». Путём разбора документа ISO/IEC 7498–1:1994, который описывает эталонный стандарт OSI.
Важно отметить для новчиков, что документ ISO/IEC 7498–1:1994 создан для унификации подходов к проектированию, а не для прямого внедрения. То есть, он не описывает конкретные технологии, а задаёт рамки. МодельTCP/IP, которая доминирует в интернете, развивалась параллельно и упростила модель OSI. Это не ошибка, а реализация подхода. В эталонном стандарте OSI описывается некий «идеал», а практическая реализация решает конкретные задачи.
📌 Подробнее: https://habr.com/ru/articles/880936/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
«Вспомнить всё»: доступный разбор первоисточника модели OSI (ч. 1) — не только 7 уровней, но и другие концепции
Модель OSI кажется простой: всего 7 уровней. Однако большинство статей просто пересказывают друг друга, упуская важные детали. В этом цикле статей мы разберём первоисточник — стандарт ISO/IEC...
Крутая программа для тех, кто уже работает с Linux и хочет погрузиться DevOps.
В двух словах: программа на 2 месяца, ты учишься, тебе еще и платят. Начинка: начинающий и продвинутый курс по Linux, погружение в DevOps. Обучение с практикой, лабораторными и под контролем экспертов из K2 Сloud.
Подробнее можно узнать на сайте
В двух словах: программа на 2 месяца, ты учишься, тебе еще и платят. Начинка: начинающий и продвинутый курс по Linux, погружение в DevOps. Обучение с практикой, лабораторными и под контролем экспертов из K2 Сloud.
Подробнее можно узнать на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Время собирать пакеты
«Настраивал кластер Kubernetes с балансировщиком и и вдруг пришла в голову мысль, что сейчас не многие знают как собирать пакеты для Linux: rpm и deb. В каком-то смысле это «утерянное искусство». Искусство потому-что сборка линуксовых пакетов с использованием make, configure, Autoconf, m4 и rpmbuild больше похожа на алхимию или черную магию, чем на инженерию.
В этой статье рассмотрим пример того, как можно облегчить работу rpm и deb.»
📌 Подробнее: https://habr.com/ru/articles/880994/
MemOps🤨
«Настраивал кластер Kubernetes с балансировщиком и и вдруг пришла в голову мысль, что сейчас не многие знают как собирать пакеты для Linux: rpm и deb. В каком-то смысле это «утерянное искусство». Искусство потому-что сборка линуксовых пакетов с использованием make, configure, Autoconf, m4 и rpmbuild больше похожа на алхимию или черную магию, чем на инженерию.
В этой статье рассмотрим пример того, как можно облегчить работу rpm и deb.»
📌 Подробнее: https://habr.com/ru/articles/880994/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Время собирать пакеты
Настраивал кластер Kubernetes с балансировщиком и и вдруг пришла в голову мысль, что сейчас не многие знают как собирать пакеты для Linux: rpm и deb. В каком-то смысле это «утерянное искусство»....
AWS запустила массу новых функций: теперь AWS Step Functions поддерживает новые форматы данных и трансформации, Amazon Q Developer расширил возможности отладки в AWS-регионах, а CloudFormation позволяет рефакторинг стаков. Также улучшены настройки AWS Config. Узнайте больше на официальной странице AWS.
📌 Подробнее: https://aws.amazon.com/blogs/aws/aws-weekly-roundup-aws-step-functions-aws-cloudformation-amazon-q-developer-and-more-february-10-2024/
MemOps🤨
📌 Подробнее: https://aws.amazon.com/blogs/aws/aws-weekly-roundup-aws-step-functions-aws-cloudformation-amazon-q-developer-and-more-february-10-2024/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Amazon
AWS Weekly Roundup: AWS Step Functions, AWS CloudFormation, Amazon Q Developer, and more (February 10, 2024) | Amazon Web Services
We are well settled into 2025 by now, but many people are still catching up with all the exciting new releases and announcements that came out of re:Invent last year. There have been hundreds of re:Invent recap events around the world since the beginning…
Контейнеризация Django-приложения с Docker: шаг за шагом
Контейнеризация веб-приложений на Django через Docker упрощает разработку и развертывание, обеспечивая стабильность и портативность среды. Наше руководство поможет новичкам в создании Docker-контейнера для вашего Django-проекта, снижая риски несовместимостей и ускоряя запуск приложений. Узнайте, как оптимизировать Dockerfile и использовать Docker Compose для управления многоконтейнерными приложениями. Настройка Django с Docker: шаг за шагом.
📌 Подробнее: https://www.docker.com/blog/how-to-dockerize-django-app/
MemOps🤨
Контейнеризация веб-приложений на Django через Docker упрощает разработку и развертывание, обеспечивая стабильность и портативность среды. Наше руководство поможет новичкам в создании Docker-контейнера для вашего Django-проекта, снижая риски несовместимостей и ускоряя запуск приложений. Узнайте, как оптимизировать Dockerfile и использовать Docker Compose для управления многоконтейнерными приложениями. Настройка Django с Docker: шаг за шагом.
📌 Подробнее: https://www.docker.com/blog/how-to-dockerize-django-app/
MemOps
Please open Telegram to view this post
VIEW IN TELEGRAM
Docker
Dockerize a Django App: Step-by-Step Guide for Beginners | Docker
Learn how to Dockerize your Django app for a standardized environment that makes it easier to get up, running, and more productive.