Первичная обработка данных в pandas ✨

Первичная обработка данных — важный этап, который помогает избежать ошибок в дальнейшем анализе и моделировании. В продолжение рубрики о знакомстве с pandas мы рассмотрим основные методы первичной обработки данных с помощью этой библиотеки.

А дальше можно браться и за построение моделей, о чем мы подробно рассказываем на курсе по Машинному обучению в биологии и биомедицине 😎

1️⃣ Визуализация данных

Перед тем как начать анализ, важно понять, с чем мы имеем дело. Для этого pandas предлагает несколько удобных методов.

▫️ Методы df.head() и df.tail() позволяют увидеть первые и последние строки датафрейма. Это помогает оценить структуру и содержимое данных.

import pandas as pd

# Пример данных
data = {
    'Название': ['Роза', 'Тюльпан', 'Лаванда', 'Гербера'],
    'Цвет': ['Красный', 'Желтый', 'Фиолетовый', 'Разноцветный'],
    'Высота': [50, 30, 40, 60]
}

df = pd.DataFrame(data)

print(df.head())  # По дефолту печатает первые 5 строк
print(df.head(2))  # При передаче числового аргумента печатает указанное количество строк

▫️ Метод df.shape() возвращает количество строк и столбцов в датафрейме. Это полезно для быстрой оценки объема данных.

print(df.shape)  # Вывод: (4, 3)

▫️ Метод df.describe() предоставляет сводную статистику для числовых столбцов, включая среднее, стандартное отклонение и квартили. Это позволяет быстро оценить распределение значений.

print(df.describe())

2️⃣ Работа с пропущенными значениями

Отсутствующие данные могут серьезно исказить результаты анализа и привести к неправильным выводам. Проблему можно решить разными способами:

▫️ Метод df.dropna() позволяет удалить из таблицы все строки с пропущенными значениями. Стоит учитывать, что удаление может привести к потере важной информации.

▫️ С помощью метода df.replace() можно заменить пропущенные числовые значения на среднее по столбцу. Это позволяет сохранить данные и избежать искажений, хотя и вносит некоторую степень "додумывания" информации.

# Заменяем пропущенные значения на среднее по столбцу
mean_height = df['Высота'].mean()
df['Высота'].replace(to_replace=None, value=mean_height, inplace=True)

3️⃣ Замена типов данных

Для разработки моделей с помощью машинного обучения часто нужно преобразовать категориальные данные в числа, так как большинство алгоритмов требуют числовых входных данных.

▫️ Это также можно сделать с помощью метода df.replace(). Для этого передадим методу словарь, где ключами будут исходные категории, а значениями - числа:

# Замена цветовых категорий на числовые значения
color_mapping = {'Красный': 1, 'Желтый': 2, 'Фиолетовый': 3, 'Разноцветный': 4}
df['Цвет'] = df['Цвет'].replace(color_mapping)

▫️ Альтернатива - метод df.get_dummies(), который преобразует категориальные данные в числовые. Его ключевое отличие в том, что он позволяет получить только бинарную числовую классификацию - 0 или 1. Для работы в аргументах метода нужно указать нужный датафрейм и его столбцы, в которых необходимо преобразование.

df_dummies = pd.get_dummies(df, columns=['Цвет'])
print(df_dummies)

4️⃣ Удаление дубликатов

Дубликаты могут искажать результаты анализа и приводить к неправильным выводам, поэтому от них стоит избавляться.

▫️ С этим поможет метод df.drop_duplicates(), который удаляет дубликаты из датафрейма.

# Удаляем дубликаты
df = df.drop_duplicates()
print(df)

5️⃣ Фильтрация данных

Фильтрация позволяет выделить подмножество датафрейма по определенным критериям для дальнейшей работы. Отфильтрованный датафрейм можно сохранить в новой переменной.

filtered_df = df[df['Высота'] > 40]
print(filtered_df)

Мы рассмотрели основные методы первичной обработки данных в pandas. Эти инструменты помогут вам эффективно готовить данные для дальнейшего анализа и построения моделей 👨‍💻💪

#openbio_pandas

Утверждаем: курс «Машинное обучение в биологии и биомедицине» от OpenBio — лучшее предложение на рынке для профильных специалистов.

✅ Команда проекта более 4 лет создает образовательные курсы в сфере биотеха, знает, что сейчас актуально на рынке в сфере ML, и привлекла в качестве методистов курса одних из лучших специалистов в своем деле.

✅ Наши спикеры уже на момент «сейчас» создали успешную карьеру (и продолжают ее развивать), годами преподают тематические дисциплины. Такой сплав профильных знаний и преподавательского опыта позволяет успешно реализовать главную задачу курса — передать навыки обработки биомед данных современными методами машинного обучения тем, кто только начинает свой путь в ML.

✅ За 3,5 месяца с учебной нагрузкой по 8-10 часов в неделю вы овладеете полной базой для входа в сферу DataScience, что будет подтверждено официальным удостоверением о повышение квалификации государственного образца.

🗓 Старт весеннего потока — 25 февраля, а набор на него уже открыт.

✍️ Оставляйте заявку на бесплатную консультацию и фиксируйте за собой место на курсе по актуальной на данный момент цене. Ведь уже завтра, 2 декабря, цены вырастут ;)

А всем, кто оставит заявку на бесплатную консультацию сегодня, мы подарим гайд со списком литературы и ресурсов по изучению ML.

Начните свой путь в ML в биологии и биоинформатике вместе с командой профессионалов!

#openbio_ML

Начнем эту неделю с хороших новостей: мы возобновляем цикл онлайн-встреч из серии «Личный путь в сеньора биоинформатика» разговором с Александром Сарачаковым! 🤩

Александр уже был гостем одного из эпизодов цикла, но вместить в один разговор более 9 лет опыта в сфере ML невозможно, и мы договорились с Александром на еще один вебинар.

🗓 Встреча состоится 10 декабря в 19:00 по Мск.

Александр — ex-квант в хедж-фонде, в настоящее время Team Leader команды Imaging & Deep learning в BostonGene, а также преподает в Сбер.Университете на курсах «Байесовские методы машинного обучения» и «Компьютерное зрение», а так же в МФТИ и Санкт-Петербургской школе компьютерных наук.

На встрече будем обсуждать тренды отрасли, передовые достижения ML в биоинформатике, и, конечно, карьерные треки и лайфхаки для начинающих.

Встреча пройдет в формате разговора, где в дружеской атмосфере можно будет задать волнующие вас вопросы и подчерпнуть опыт спикера.

Стартуем 10 декабря, вторник, в 19:00 по Мск.

✍️ Пишите ваши вопросы в комментариях к этому посту, чтобы они точно были озвучены в эфире.

❗️Регистрируйтесь на сайте, чтобы получить ссылку на эфир.

#openbio_webinar
#openbio_interview
#openbio_expert