https://habr.com/ru/company/sibur_official/blog/502988/

• Блог компании Цифровой СИБУР
• Python
• Учебный процесс в IT
• Управление персоналом
• Карьера в IT-индустрии

Привет! Меня зовут Виктория Краснова, я не так давно писала большой пост про data-driven в нефтехимии. Но там было про сам подход и систему. Давайте сегодня поговорим о тех, кто этой системой будет пользоваться (и кто будет её улучшать). То есть о людях.

Вообще же, про data driven легко говорить и кайфово это реализовывать в компаниях, в которых большинство сотрудников являются power users, то есть легко напишут запрос к базе, не отрываясь от заваривания чая, а в голове у них есть вопросы и задачи, которые можно решить только при наличии технологии Big Data.

А теперь представьте себе, каково это — внедрять DAAS (data as a service), если ваши пользователи взаимодействуют между собой только языком Excel и Power Point. Возникает разрыв: те, кто владеет навыками программирования, не владеют предметной областью на должном уровне, чтобы предметно продемонстрировать все плюшки современных технологий, а бизнес-эксперты пребывают в состоянии недоумения из-за того, что любую известную задачу можно решить при помощи «Small Data» в лице Excel.

Для того, чтобы этот разрыв нивелировать, а в идеале вообще устранить, можно подойти к проблеме вот с каких сторон. Во-первых, набирать аналитиков со знанием SQL и Python. Во-вторых, учить существующих пользователей языкам программирования. И вроде как первый путь выглядит логичнее и проще, да? Но есть подводные камни, а именно:

• «узкое горлышко» ограниченного ресурса аналитиков;
• возникают дополнительные трудозатраты у бизнеса на детальную постановку задачи (фактически удваиваются);
• поток задач будет нескончаем, так как любой анализ данных — это итерационный процесс, когда при получении ответа у тебя возникают следующие вопросы;
• так как ответственность за корректность расчета на аналитике, то у бизнеса не возникает потребности с самого себя спрашивать «за качество данных» и еще большое количество минусов т.п.

Конечно, минусы есть и у второго подхода — не совсем понятно, как людей, загруженных текущей работой, обучать навыкам программирования, это же по умолчанию долго, сложно и неясно, зачем, если все можно сделать в Excel. Плюс уже сложившейся выделенной функции аналитиков, которые бы владели современными навыками работы с инструментами, у нас не было.

Поэтому мы подумали и запустили Школу аналитики.

Её идея возникла как попытка ответить на следующие вопросы:

• как успешного бизнес-эксперта, хорошо владеющим мат.аппаратом, научить не просто работать с кодом, а еще и расширить горизонты его воображения: какие задачи ты можешь решать при помощи современного инструментария; сейчас ты чего-то не знаешь, а если бы знал?
• как добиться того, чтобы сотрудники не забыли сразу то, чему учились, а применяли полученные навыки на практике (например, автоматизировали свои рутинные задачи, высвобождая время на новые возможности);
• как сделать внедрение Школы аналитики окупаемым (например, можно сравнить стоимость создания дашборда подрядчиком и его бесконечное сопровождение и self service или создать прототип инструмента, чтобы уточнить, нужен ли он и какой именно).

И в 2019 году мы начали тестировать формат Школы аналитики в СИБУРе для своих сотрудников. Нам нужно было научить программировать на Python и SQL людей, которые по большей части решают бизнесовые задачи. В нашу Школу не так уж просто попасть любому желающему, даже если очень хочется. Максимум, что мы можем дать всем, кто так или иначе проявляет интерес к обучению, — посоветовать правильные курсы на Coursera или дать стопку полезных книг. Хочешь учиться — вот, пожалуйста, учись.

Тимлидом Школы стал Андрей Телятник, увлекающийся решениями задач оптимизации и призёр одного большого американского конкурса. Сейчас его оптимизатор просчитывает рынок электроэнергетики в России, в СИБУРе Андрей участвовал в проекте оптимизации цепочек поставок нашего полимерного бизнеса.

Учиться в Школе аналитики может только тот сотрудник компании, у которого уже есть реальный бизнес-кейс, который находится в работе прямо сейчас. Тогда у руководителя появляется резон выделять часть времени на обучение. При поступлении мы задаем неудобные вопросы вроде «Зачем вы это делаете?», но главный отбор идет даже не при поступлении, а в процессе обучения. Те, кто не может или не готов прилагать достаточные усилия, – отваливаются сами.

Фактически в нашей Школе реализован институт менторства — сотрудник, прошедший обучение, обязуется помогать учиться следующему потоку. И если вдруг он не справится с проблемой новичка, всегда можно позвать своего собственного бывшего ментора. Таким образом формируется безопасная среда, в рамках которой ты всегда можешь пробовать новое, но не можешь вероломно откосить от выполнения задачи.

В процессе обучения мы помогаем студентам преодолеть страх перед страшным и ужасным программированием и формируем у них проактивное мышление. Главное в самом начале – преодолеть ступор чистого листа, когда надо написать что-то с нуля. Опытные менторы помогают определить инструменты и начать работу, а далее помощь уже может и не требоваться вовсе, поскольку вся информация есть в интернете, надо лишь уметь сформулировать свой вопрос. Если студент сталкивается с какой-то проблемой или просто застрял в каком-то месте, он сначала сам должен попробовать разобраться, перебрать несколько вариантов, и если они не сработали — звать ментора. Он подержит за руку, выслушает проблему и те способы, которыми студент пытался ее решить, понимающе покивает и подскажет, как сделать так, чтобы все снова заработало.

Таким образом люди становятся более уверенными в себе и своих силах, формируют у себя критическое мышление. Мы следим за нашими выпускниками, и пока еще никто не остановился на тех скриптах, которые они написали на учебе, и продолжают создавать новые в рамках все новых и новых задач. Пока мы выпустили три потока студентов и собрали несколько кейсов от наших выпускников — бизнес-аналитиков, и готовы поделиться ими с вами.

Немного про формат

Все обучение длится в среднем три — три с половиной месяца, по одному занятию в неделю-две. Первые два месяца была только учеба, а дальше в параллель с ней уже решались непосредственно кейсы. Студент договаривался с менторами из Школы аналитики о встрече, рассказывал о задачах, погружал в проблематику и ожидания от результата, а менторы делились инструментами и подходами к решению задачи.

Все происходило в максимально свободном формате — встречи, переписки в почте и чатах, обсуждения по телефону, — без каких-то формальных сроков и периодичности. При этом студенты параллельно продолжали выполнять свои обычные обязанности, а Школа была для них дополнительной нагрузкой, которую они решили на себя принять.

В чем была их мотивация? Все просто — освоив новые инструменты, бизнес-аналитики избавятся с их помощью от рутинных и часто повторяющихся операций, которых, будем честны, в их работе достаточно. И если с одной стороны они освобождают время для решения более творческих задач, то с другой, развивая инструменты на основе озера данных, можно сделать маркетинговые данные прозрачными, все время доступными и едиными для всех пользователей.

Какие конкретно задачи помогла решить выпускникам Школа аналитики? Своими историями поделились они сами. Все они — специалисты подразделения маркетинга.

Обработка специфических данных

Алёна Вартанская, главный специалист, бизнес-аналитика

С первого дня учебы фокус нашего внимания настраивали на три блока. Во-первых, это работа с маркетинговым озером данных. Мы осваивали инструменты, которые позволяли нам обращаться в озеро и визуализировать эти данные на дашборде. Учились правильно анализировать качество данных, искать недостающие, в некоторых случаях восполнять их. Обращать внимание на иерархию, как данные выстроены и как хранятся, как из разных источников корректно вытягивать данные по одному конкретному продукту.

Во-вторых, собственно, сами цифровые инструменты — SQL и Python, с их помощью мы учились прописывать алгоритмы. И в-третьих, базовые знания по дашбордам.

Проблема, которую я пришла решать в Школу аналитики, была связана с клиентами и клиентоориентированностью, потому что клиент для бизнеса, безусловно, самый важный участник взаимоотношений. В моем кейсе мы пытались узнать больше о клиенте, и с помощью анализа потоков из разных источников, а также с помощью текстового анализа понять, как и в каких регионах он реализует свою продукцию, распределить продукцию по маркам.

Таким образом мы сможем понять, в какие периоды у клиента могут быть трудности с точки зрения реализации продукта или развития сегмента, и можем ли мы его каким-то образом поддержать, например, пакетными предложениями. Или наоборот, мы увидим, что у клиента все сейчас хорошо, он интенсивно развивается, открывает новые сегменты, и мы можем предложить ему делать совместно какие-то проекты.

И помимо автоматизирования всего процесса мне нужно было более глубоко погрузиться в специфику работы клиента. Раньше такие вещи делались точечно по запросу, отнимали в среднем 1-2 часа работы. Теперь дело поставлено на рельсы — я всегда могу открыть дашборд и быстро собрать нужные данные: как клиент меняет свою стратегию, куда, как и когда везет продукцию и т.д. Таким образом, на выполнение одного запроса уходит 10-15 минут.

Запросы от коллег из маркетинга чаще всего связаны с анализом данных по определенному продукту, которым они занимаются. Понять объем реализации продукции, канал сбыта или сегмент применения. Если правильно выстраивать дашборд в рамках часто встречающихся запросов, всю статистику можно оперативно вытащить.

Да, на первых дашбордах тратится довольно много времени, но со временем какие-то операции делаешь быстрее. В любом случае вся система выстраивается единожды, а дальше просто нужно выбирать соответствующую информацию, которая еще и автоматически обновляется.

Чтобы выполнить запрос, обычно нужно собрать кучу данных из самых разных источников, потом еще надо связать между собой большой массив документов, данные разных периодов, агрегировать большие excel-файлы.

Теперь это единое маркетинговое озеро данных, объединяющее внутренние источники типа SAP и внешние. Можно посмотреть историю по месяцам, начиная с 2000-х годов, получить разбивку по продуктам.

Раньше нужно было каждый месяц готовить такую сводку данных и где-то хранить. Причем локально, только у себя. А теперь все прозрачно, любой сотрудник может воспользоваться озером, если ему понадобится эта информация.

Еще один плюс переноса данных в озеро — единообразие. Форматы данных в разных базах отличаются. Я научилась в рамках определенных группировок эти данные соединять, чтобы по продукту сразу подтягивались данные из разных источников по определенным ключам, чтобы дальше их соединять и использовать в работе.

Автоматизация подготовки оперативных отчетов

Виталий Малахай, эксперт, бизнес-аналитика

Еженедельно в функции Маркетинг и продажи проводится оперативка, на которой обсуждается текущая ситуация на рынке, основные события, тенденции. Мы основательно готовимся к таким встречам и каждую неделю собираем материалы в формате аналитической справки с подробной информацией по нашим продуктам (макропараметры, котировки, цены, комментарии и т.д.).

Ранее вся информация собиралась из множества PDF-отчетов и excel-файлов, которые обрабатывались вручную, и уже оттуда попадала в справку. Естественно, на подготовку материалов мы тратили большое количество времени, плюс вся эта информация оставалась локальной. В рамках Школы аналитики с помощью Python мы автоматизировали сбор данных и сделали так, чтобы информация из PDF-отчетов и excel-файлов хранилась в базе данных, а затем уже визуализировалась в Tableau.

Так мы сократили трудозатраты на рутинный сбор информации, плюс теперь можем видеть всю картину в целом. К сожалению, мы пока не научились писать комментарии автоматически, но я думаю, это будет интересная задача.

Оптимизация и сокращение рутинных операций при сборе данных и их первичной обработке

Арсений Коршунов, главный эксперт, продвинутая аналитика

Чтобы маркетолог смог сделать выводы о том, что сейчас происходит с рынком, иногда недостаточно почитать отчет или построить диаграммы в экселе. Нужно сделать прогноз и понять, что будет, если изменить один или несколько входных параметров. Я занимаюсь построением математических моделей для анализа реального рынка.

Чтобы это делать, нужно собирать кучу входных данных разных форматов из разных источников и аккумулировать их в одном месте, изучать закономерности между ними и строить статистические модели. Фактически, моя задача состоит в том, чтобы строить адекватные функции входных переменных, которые прозрачно и понятно выдают пользователю результат в виде прогнозов, сценариев поведения рынка.

Моё задание в рамках Школы заключалось в автоматизации сбора определенных сетов информации, чтобы потом загружать их в Vertica. Само решение разбилось на три блока, из которых пока готов только центральный. Первый блок заключался в том, чтобы система автоматически логинилась на сайт, скачивала архив с 20-30 excel-файлами и сохраняла это на диск. Второй — в том, чтобы пройти эти 20-30 файлов и разобрать их по видам данных, сформировав шаблоны для интеграции с БД. Он как раз-таки и готов. И третий — загрузить данные в Vertica.

Если раньше для своих моделей прогнозирования я вставлял блоками информацию и ее регулярно апдейтил раз в месяц, то теперь я могу залогиниться и скачать архив, прогнать Python, и дальше использовать готовые шаблоны для загрузки в Vertica.

Общие впечатления

Нельзя сказать, что Школа аналитики — это серия курсов. Скорее, это платформа, где с первого дня можно использовать новые инструменты для решения операционных задач. При этом есть наставники, которые всегда на связи и готовы помочь.

Мы обсуждали свои идеи с менторами, а они делились своим видением и подсказывали варианты решения. Это очень помогало, потому что мы обычно смотрели на проблему с точки зрения бизнеса, а менторы — с технической, и таким образом можно было найти новое решение, которое в обычных обстоятельствах не пришло бы в голову.

Здорово было узнать много лайфхаков даже при работе с привычными инструментами, потому что мы могли наблюдать за работой менторов, подмечать какие-то вещи на практике и потом активно их использовать в своих проектах. Теперь мы активно развиваем наше озеро данных, а освободившееся время тратим на автоматизацию все новых и новых задач.