# Загружаем библиотекeу для работы с данными
import pandas as pd
# для построения леса деревьев решений, обучения моделей и построения confusion_matrix:
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import confusion_matrix
# для работы с графикой:
import matplotlib.pyplot as plt
import seaborn as sns
# Загружаем наш датафрейм
mushrooms = pd.read_csv('/content/mushrooms.csv')
#Просматриваем наши данные
mushrooms.head()
# Что будет изображено после выполнения кода можете увидеть на картинке внизу:
#Краткая сводка данных
mushrooms.info()
#Информация о количестве строк и столбцов
mushrooms.shape
# Используем кодировщик данных LabelEncoder для преобразования наших категоральных или текстовых данных в числа (обязательно перед heatmap)
# Если мы этого не сделаем, при обучении дерева у нас возникнет ошибка на этапе его обучения
from sklearn.preprocessing import LabelEncoder
le=LabelEncoder()
for i in mushrooms.columns:
mushrooms[i]=le.fit_transform(mushrooms[i])
# Посмотрим как преобразовались наши данные
mushrooms.head()
# Просмотрим корреляцию наших данных с помощью heatmap
fig = plt.figure(figsize=(18, 14))
sns.heatmap(mushrooms.corr(), annot = True, vmin=-1, vmax=1, center= 0, cmap= 'coolwarm', linewidths=3, linecolor='black')
fig.tight_layout()
plt.show()
Положительно коррелирующие значения: Сильная корреляция (veil-color,gill-spacing) = +0.9 Средняя корреляция (ring-type,bruises) = +0.69 Средняя корреляция (ring-type,gill-color) = +0.63 Средняя корреляция (spore-print-color,gill-size) = +0.62 Отрицательно коррелирующие значения Средняя корреляция (stalk-root,spore-print-color) = -0.54 Средняя корреляция (population,gill-spacing) = -0.53 Средняя корреляция (gill-color,class) = -0.53 Если в нашем исследование возьмем максимально тесно связанные коррелирующие значения, то получим максимально точные значения и точно обученную модель. В нашей задаче мы будем обучать модель по классу, представляя, что аналитик не воспользовался таблицей корреляции.
# Отбросим колонку, которую будем предсказывать.
X = mushrooms.drop(['class'], axis=1)
# Создадим переменную, которую будем предсказывать.
y = mushrooms['class']
# Создаем модель RandomForestClassifier.
rf = RandomForestClassifier(random_state=0)
# Задаем параметры модели, изначально когда мы не знаем оптимальных параметров для обучения леса задаем так
#{'n_estimators': range(10, 51, 10), 'max_depth': range(1, 13, 2),
# 'min_samples_leaf': range(1,8), 'min_samples_split': range(2,10,2)}
parameters = {'n_estimators': [10], 'max_depth': [7],
'min_samples_leaf': [1], 'min_samples_split': [2]}
# Обучение Random forest моделей GridSearchCV.
GridSearchCV_clf = GridSearchCV(rf, parameters, cv=3, n_jobs=-1)
GridSearchCV_clf.fit(X, y)
# Определение наилучших параметров, и обучаем с ними дерево для получения лучшего уровня обучаемости
best_clf = GridSearchCV_clf.best_params_
# Просмотр оптимальных параметров.
best_clf
# Создание confusion matrix (матрицу ошибок) по предсказаниям, полученным в прошлом шаге и правильным ответам с нового датасета.
y_true = pd.read_csv ('/content/testing_y_mush.csv')
sns.heatmap(confusion_matrix(y_true, predictions), annot=True, cmap="Blues")
plt.show()
Данная матрица ошибок показывает, что у нас отсутствуют ошибки первого типа, но присутствуют ошибки второго типа в значении 3, что для нашей модели является очень низким показателем стремящемся к 0.
Далее мы проделаем операции для определения модели наилучшей точности нашем дф
# определим точность нашей модели
from sklearn.metrics import accuracy_score
mr = accuracy_score(y_true, predictions)
#Данные для тренировки и тестировки датафрейма
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 0)
#Логистическая регрессия
#Тренируем модель
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(max_iter = 10000)
lr.fit(x_train,y_train)
#Строим матрицу ошибок
from sklearn.metrics import confusion_matrix,classification_report
y_pred = lr.predict(x_test)
cm = confusion_matrix(y_test,y_pred)
#Делаем проверку точности
log_reg = accuracy_score(y_test,y_pred)
#K ближайших соседей
#Тренируем модель
from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors = 5, metric = 'minkowski',p = 2)
knn.fit(x_train,y_train)
#Создаем матрицу ошибок
from sklearn.metrics import confusion_matrix,classification_report
y_pred = knn.predict(x_test)
cm = confusion_matrix(y_test,y_pred)
#Делаем проверку точности
from sklearn.metrics import accuracy_score
knn_1 = accuracy_score(y_test,y_pred)
#Дерево решений
#Тренируем модель
from sklearn.tree import DecisionTreeClassifier
dt = DecisionTreeClassifier(criterion = 'entropy')
dt.fit(x_train,y_train)
#Создаем матрицу ошибок
from sklearn.metrics import confusion_matrix,classification_report
y_pred = dt.predict(x_test)
cm = confusion_matrix(y_test,y_pred)
#Делаем проверку точности
from sklearn.metrics import accuracy_score
dt_1 = accuracy_score(y_test,y_pred)
#Простой вероятностный классификатор
#Тренируем модель
from sklearn.naive_bayes import GaussianNB
nb = GaussianNB()
nb.fit(x_train,y_train)
#Создаем матрицу ошибок
from sklearn.metrics import confusion_matrix,classification_report
y_pred = nb.predict(x_test)
cm = confusion_matrix(y_test,y_pred)
#Делаем проверку точности
from sklearn.metrics import accuracy_score
nb_1 = accuracy_score(y_test,y_pred)
#Осущевстляем проверку точностей
plt.figure(figsize= (16,12))
ac = [log_reg,knn_1,nb_1,dt_1,mr]
name = ['Логистическая регрессия','К ближайших соседей','Простой вероятностный классификатор','Дерево решений', 'Случайные деревья']
sns.barplot(x = ac,y = name,palette='colorblind')
plt.title("График точностей моделей", fontsize=20, fontweight="bold")
Мы можем сделать вывод, что наиболее точной моделью для наших предсказаний является дерево решений.
