python

Добавляем параллельные вычисления в Pandas

  • суббота, 25 апреля 2020 г. в 00:25:39
https://habr.com/ru/post/498904/
  • Высокая производительность
  • Python
  • Data Engineering


Возможно вы сталкивались с задачей параллельных вычислений над pandas датафреймами. Решить эту проблему можно как силами нативного Python, так и с помощью замечательной библиотеки — pandarallel. В этой статье я покажу, как эта библиотека позволяет обрабатывать ваши данные с использованием всех доступных мощностей.



Библиотека позволит вам не думать о числе потоков, создании процессов и предоставит интерактивный интерфейс для мониторинга прогресса.


Установка


pip install pandas jupyter pandarallel requests tqdm

Как видите, я также устанавливаю tqdm. С его помощью я наглядно продемонстрирую разницу в скорости выполнения кода при последовательном и параллельном подходе.


Настройка


import pandas as pd
import requests

from tqdm import tqdm
tqdm.pandas()

from pandarallel import pandarallel
pandarallel.initialize(progress_bar=True)

С полным списком настроек вы можете ознакомиться в документации pandarallel.


Создаем датафрейм


Для экспериментов создадим простой датафрейм — 100 строк, 1 колонка.


df = pd.DataFrame(
    [i for i in range(100)],
    columns=["sample_column"]
)


Пример задачи, подходящей для распараллеливания


Как мы знаем, решение не всех задач можно распараллелить. Простой пример подходящей задачи — вызов какого-нибудь внешнего источника, например API или базы данных. В функции ниже я вызываю API, который возвращает мне одно случайное слово. Моя цель — добавить в датафрейм колонку со словами, полученными из этого API.


def function_to_apply(i):
    r = requests.get(f'https://random-word-api.herokuapp.com/word').json()

    return r[0]

Классический способ решения задачи


df["sample-word"] = df.sample_column.progress_apply(function_to_apply)

Для людей, который не знакомы с библиотекой tqdm, поясню — функция progress_apply действует аналогично привычному apply. И, вдобавок к этому, мы получаем интерактивный progress bar.



Такое "наивное" решение задачи заняло 35 секунд.


Параллельный способ решения задачи


Для использования всех доступных ядер, достаточно использовать функцию parallel_apply:


df["sample-word"] = df.sample_column.parallel_apply(function_to_apply)


Такое решение заняло всего 5 секунд.


Прочие сценарии


Полный список pandas функций, поддерживаемых pandarallel, приведен в Github проекта.



Спасибо за внимание! Если статья вам понравилась — подписывайтесь на мой Телеграм канал или Твиттер.