python

Интеллектуально-гастрономическая аналитика или как испечь тыквенный пирог с аналитической системой

  • суббота, 12 ноября 2022 г. в 00:39:01
https://habr.com/ru/post/698840/
  • Python
  • Data Mining
  • Big Data
  • IT-компании


Привет Хабр! Меня зовут Алексей. Вот уже несколько лет работаю аналитиком. Создаю проекты, анализирую огромные пласты информации, обрабатываю отзывы о продукте, компании, с внешних источников, автоматизирую поиск и обработку данных по заданным критериям внутри компании, повышаю качество клиентского обслуживания за счет автоматизации анализа текстовых данных, мониторю качество обслуживания клиентов банка, делаю аналитику данных для ритейла, а это и автоматизация управления поставками, запасами, мониторинг работы кассиров, прогнозирование товарооборота. В общем работы очень много и я устаю и готовить совсем некогда, но я нашел решение проблемы…. А что, если приятное соединить с полезным и провел аналитику по рецептам простых блюд…ну для холостяков 😊 с помощью с моей рабочей системы PolyAnalyst.

Данные я взял с сайта с рецептами eda.ru, воспользовавшись, внутренним парсером сайтов.

Извлечение происходило по разделам, было получено следующее количество рецептов:

  • Выпечка/Десерты 5 077  рецепт

  • Основные блюда 6 017 рецепт

  • Салаты 1 292 рецепт

  • Паста/Пицца 1 817 рецепт

  • Завтраки 2 219 рецепт 

  • Супы 2 810 рецепт 

  • Закуски 2 327 рецепт

В итоге мы получили 21 659 рецептов.

Сначала нужно было получить интересующие меня данные. Для себя я выделил три показателя - это название рецепта, тип кухни, ингредиенты.

Я не добавил раздел, а добавил данные, когда извлекал информацию со страниц.

Название, рецепт и тип кухни вышли из заголовка страницы, который выглядит примерно следующим образом:

"Американский тыквенный пирог с корицей" пошаговый рецепт с видео и фото – Американская кухня: Выпечка и десерты” 

"Название рецепта" в данном случае это - "Американский тыквенный пирог с корицей", а тип кухни - "Американская кухня".

Неожиданностью было обнаружить рецепты из знаменитого сериала по Игре Престолов “Кухня Вестероса”, в количестве четырех штук.

Из основной информации страницы я извлекал Ингредиенты, предварительно заменив дробные значения на строковые, например  ½. на 0,5, ⅓ на 0,33 и т.д.

Ингредиенты я разбил на три столбца:

  • Название ингредиента

  • Количество

  • Мера

С количеством и мерой пришлось так же повозиться, много было не объективных показателей таких как: “по вкусу”, “на кончике ножа” и т.д.

Решено было привести все к 2 величинам, граммы, миллилитры.

Данные были преобразованы по следующим критериям:

  • 1 кг = 1000 гр

  • 1 л = 1000 мл

  • Столовая ложка = 15 мл

  • Чайная ложка = 5 мл

  • Стакан = 200 мл

  • Зубчик = 4 гр

  • головка чеснока = 10 зубчиков по 4 гр

  • Щепотка = 3 гр

  • На кончике ножа = 2 гр

  • Штука = 100 гр

  • Пучок = 50 гр

  • Стебель = 50 гр

  • Банка = 300 гр

  • Кусок = 25 гр

  • Веточка = 50 гр

  • На свой вкус = 100 гр

 После конвертации были обнаружены аномальные данные:

Кто-то решил приготовить “Арбузный салат с ромом и мятой” используя 2,7 тонны арбуза.

А “Куриный рулет, фаршированный печенью кролика” используя 1,2 тонны цыпленка 😊Исправив эти аномалии и заодно сообщив о ошибках на eda.ru, приступил к работе. Получившиеся данные были проанализированы в узле “Транзакционный анализ покупательских корзин”.

Получились следующие данные:

Для удобства восприятия был создан дашборд. Для отображения анализа я сделал такую страницу:

На следующей странице был представлен график sunburst отображающий зависимость типа кухни от раздела рецепта. На нем также присутствует графа, на котором отображена связь ингредиентов с типом кухни и разделом рецепта.

На последней странице, отображаются сами рецепты, с ингредиентами. Здесь и как на всех страницах можно отфильтровать данные, но есть интересная возможность, в фильтре ингредиенты можно задать, из чего вы хотите приготовить блюдо, оно его отсортирует и покажет рецепты именно с этими продуктами.

В общем, проверил я свой холодильник и вбил в систему список продуктов. К моему удивлению нашлось 21 тыс рецептов. В топ попали – Американский тыквенный пирог с корицей, пирог «Зебра», тонкие блины на молоке, классическая «Шарлотка», «Медовик», «Брауни», маффины с голубикой и мускатным орехом. Я остановился на пироге с тыквой (мама как раз на днях привезла мне эту красавицу кг на пять с огорода и я не знал, что с ней делать).

Вот что у меня получилось!

Ссылку на отчет и рецептик прилагаю:

ИНГРЕДИЕНТЫ

Пшеничная мука 400 г, Сливочное масло250 г, Куриное яйцо 3 штуки, Тыква 900 г, Сахар 200 г, Сливки 30%-ные 200 мл, Корица по вкусу, Ванилин по вкусу, Соль по вкусу.

1.      Просеять муку и соль в глубокую миску. Перетереть между ладоней с мягким маслом, чтобы смесь напоминала хлебные крошки, затем добавить слегка взбитое яйцо и замесить тесто. Скатать его в шар, завернуть в пленку и отправить в холодильник на 30–50 минут.

2.      Очистить тыкву, удалить семена. Нарезать мякоть кубиками. Положить в кастрюлю с толстым дном или сотейник, добавить немного воды и тушить до мягкости и полного испарения жидкости. Блендером измельчить мякоть в однородную массу. Для пущей нежности получившееся пюре можно протереть через сито.

3.      Раскатать тесто на слегка присыпанной мукой поверхности и застелить им круглую низкую форму диаметром около 30 см. Поверх теста положить лист бумаги для запекания и засыпать любую крупу. Это позволит коржу равномерно пропечься. Выпекать в течение 15 минут при 190 градусах.

4.      Выложить тыквенное пюре в глубокую миску, взбить с двумя яйцами, сахаром, сливками, пряностями и солью. Вылить смесь в форму с запеченным тестом. Выпекать пирог 50–55 минут при 180 градусах. Когда пирог остынет, его можно смело разрезать на порции.

Американский тыквенный пирог с корицей пошаговый рецепт с видео и фото – Американская кухня: Выпечка и десерты (eda.ru)