Отчет с PyDaCon meetup в Mail.ru Group, 22 июня
- вторник, 23 июля 2019 г. в 00:17:19
https://habr.com/ru/company/mailru/blog/460555/
В конце июня, в московском офисе прошел митап на котором собрали 2 секции: доклады по Python, состав которого был сформирован на основе общего списка докладов к PyCon Russia и PyData-трек от PyData Moscow meetup. Под катом собрали презентации, записи докладов и небольшие комментарии.
Больше двух лет назад я рассказывал о использовании jupyter на 100%. Но что, если вы не один? Как ужиться на одной машине 20 студентам, изучающим ML, или RND команде из 15? Готовые рецепты, рекомендации и собранные грабли.
Вы начинаете новый проект. Устанавливаете веб-фреймворк, ORM-фреймворк, пишете модели, делаете запросы к БД. Всё идет хорошо. Потом к вам приходит 100 000 пользователей — и проект падает под нагрузкой. Ваши действия? Такая ситуация была у нас полгода назад. Я расскажу, как мы нашли из нее выход, покажу наши подходы к поиску узких мест, сервисы, которые в этом помогают. И поясню, почему ванильный ORM — это зло.
Рассказ о том, как устроена локализация на сервер-сайде MAPS.ME. Небольшая трогательная история о боли контент-менеджеров и преодолении разработчиков бэка на Django.
Разберем, как работают две совершенно разные технологии aiopg & asyncpg — посмотрим, как они устроены. Что важно, мы не будем сравнивать скорость.
В докладе мы будем ориентироваться на лучшие мировые практики (AllenNLP) и свой собственный опыт. Расскажем, как нужно структурировать ваш пайплайн и особенности каждой его составляющей: как правильно оформлять входящие данные, итераторы по датасету, каким должен быть словарь, подготовка данных и др. Будут приведены примеры с реальных задач и показано, как это помогает в воспроизводимости и легкости дальнейшего использования.
В докладе мы расскажем про наиболее популярные библиотеки для формирования ансамблей. Начнем с простых ensemble в Sklearn-e, далее вручную соберем простейший стекинг в пару строчек кода, а после рассмотрим наиболее популярные библиотеки: Vecstack, Heamy, Pystacknet, Mlxtend, Mlens.
Байесовская статистика в последнее время стала обсуждаться в контексте глубокого обучения. К сожалению, это скрывает главное ее преимущество по сравнению со стандартными подходами машинного обучения. В отличие от black-box моделей, байесовский подход к моделированию white-box. White-box — это и хорошо, и плохо. От аналитика требуется полное понимание природы задачи, только тогда байесовский подход используется на полную мощность. Он позволяет учесть не только то, что «говорят нам данные», но и то, что «говорит нам здравый смысл». В докладе пойдет речь о том, зачем и когда все это нужно и как проводить и интерпретировать такой анализ в питоне.
Мы покажем, как собрать 10 миллионов комментариев, использую API ВКонтакте и YouTube, посмотрим, о чем говорят пользователи, слушающие разные жанры музыки, и дадим ответы на такие важные вопросы как:
Следите за предстоящими событиями здесь.
- Блог компании Mail.ru Group
- Python
- Big Data
В конце июня, в московском офисе прошел митап на котором собрали 2 секции: доклады по Python, состав которого был сформирован на основе общего списка докладов к PyCon Russia и PyData-трек от PyData Moscow meetup. Под катом собрали презентации, записи докладов и небольшие комментарии.
«Как использовать JupyterHub на 100% на примере ML-школы DataGym и компании Lamoda»
Петр Ермаков, Senior Data Scientist в Lamoda и Data Coach в DataGymБольше двух лет назад я рассказывал о использовании jupyter на 100%. Но что, если вы не один? Как ужиться на одной машине 20 студентам, изучающим ML, или RND команде из 15? Готовые рецепты, рекомендации и собранные грабли.
Презентация
«SQL-боттлнеки: поиск и устранение узких мест при масштабировании»
Михаил Новиков, ведущий разработчик, Fasttrack (fstrk.io)Вы начинаете новый проект. Устанавливаете веб-фреймворк, ORM-фреймворк, пишете модели, делаете запросы к БД. Всё идет хорошо. Потом к вам приходит 100 000 пользователей — и проект падает под нагрузкой. Ваши действия? Такая ситуация была у нас полгода назад. Я расскажу, как мы нашли из нее выход, покажу наши подходы к поиску узких мест, сервисы, которые в этом помогают. И поясню, почему ванильный ORM — это зло.
Презентация
«Локализация контента и элементов интерфейса»
Алина Красавина, Ведущий разработчик MAPS.ME, Mail.ru GroupРассказ о том, как устроена локализация на сервер-сайде MAPS.ME. Небольшая трогательная история о боли контент-менеджеров и преодолении разработчиков бэка на Django.
Презентация
«Сравнение технологий aiopg & asyncpg»
Алексей Фирсов lesha_firs, ведущий разработчик aio-libs/aiopgРазберем, как работают две совершенно разные технологии aiopg & asyncpg — посмотрим, как они устроены. Что важно, мы не будем сравнивать скорость.
Презентация
«Оформление пайплайна в NLP проекте»
Виталий Радченко, Data Scientist, YouScanВ докладе мы будем ориентироваться на лучшие мировые практики (AllenNLP) и свой собственный опыт. Расскажем, как нужно структурировать ваш пайплайн и особенности каждой его составляющей: как правильно оформлять входящие данные, итераторы по датасету, каким должен быть словарь, подготовка данных и др. Будут приведены примеры с реальных задач и показано, как это помогает в воспроизводимости и легкости дальнейшего использования.
Презентация
«Стекаем и Блендим. Разбор популярных библиотек Python»
Дмитрий Буслов, Старший архитектор бизнес-решений, SAP CISВ докладе мы расскажем про наиболее популярные библиотеки для формирования ансамблей. Начнем с простых ensemble в Sklearn-e, далее вручную соберем простейший стекинг в пару строчек кода, а после рассмотрим наиболее популярные библиотеки: Vecstack, Heamy, Pystacknet, Mlxtend, Mlens.
Презентация
PyMC3 — Bayesian Statistical Modelling in Python
Максим Кочуров, PyMC Dev / Samsung AI / SkoltechБайесовская статистика в последнее время стала обсуждаться в контексте глубокого обучения. К сожалению, это скрывает главное ее преимущество по сравнению со стандартными подходами машинного обучения. В отличие от black-box моделей, байесовский подход к моделированию white-box. White-box — это и хорошо, и плохо. От аналитика требуется полное понимание природы задачи, только тогда байесовский подход используется на полную мощность. Он позволяет учесть не только то, что «говорят нам данные», но и то, что «говорит нам здравый смысл». В докладе пойдет речь о том, зачем и когда все это нужно и как проводить и интерпретировать такой анализ в питоне.
Презентация
«'Кис-кис, вдыхай меня через кес' или о чем говорят любители рэпа: Python для тематического моделирования комментариев ВКонтакте»
Дмитрий Сергеев, Aalto University / DataGymМы покажем, как собрать 10 миллионов комментариев, использую API ВКонтакте и YouTube, посмотрим, о чем говорят пользователи, слушающие разные жанры музыки, и дадим ответы на такие важные вопросы как:
- Может ли тематическое моделирование помочь с кластеризацией жанров?
- Есть ли что-то общее у слушателей шансона и джаза?
- Как измерить близость Киркорова к Антохе МС?
Презентация
Следите за предстоящими событиями здесь.