Оценка моделей машинного обучения с помощью sklearn metrics

Scikit-learn (sklearn) - это библиотека машинного обучения для языка программирования Python. Она предоставляет множество методов, алгоритмов и инструментов для решения задач классификации, регрессии, кластеризации и других задач. В том числе, в библиотеке есть модуль для измерения качества моделей - sklearn.metrics.

Модуль sklearn.metrics предоставляет набор функций для вычисления различных метрик качества моделей машинного обучения. Эти метрики измеряют, насколько хорошо модель справляется с задачей и оценивают точность, полноту, F-меру, коэффициенты корреляции и другие параметры.

Рассмотрим некоторые важные метрики, которые можно вычислить используя sklearn.metrics:

1. Accuracy - это наиболее простая метрика, которая показывает, какая доля предсказаний была правильной.

Пример кода для вычисления accuracy:

python
from sklearn.metrics import accuracy_score
y_true = [0, 1, 0, 1]
y_pred = [1, 1, 0, 1]
accuracy = accuracy_score(y_true, y_pred)
print('Accuracy:', accuracy)

2. Precision и Recall - метрики, используемые для измерения качества модели в задачах бинарной классификации. Precision оценивает долю правильных положительных результатов среди всех положительных результатов. Recall показывает, какую долю из всех положительных примеров модель смогла правильно идентифицировать.

Пример кода для вычисления метрик precision и recall:

python
from sklearn.metrics import precision_score, recall_score
y_true = [0, 1, 0, 1]
y_pred = [1, 1, 0, 1]
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
print('Precision:', precision)
print('Recall:', recall)

3. F1-score - это гармоническое среднее между precision и recall. F1-score показывает, как хорошо модель справляется с задачей классификации, отражая баланс между precision и recall.

Пример кода для вычисления метрики F1-score:

python
from sklearn.metrics import f1_score
y_true = [0, 1, 0, 1]
y_pred = [1, 1, 0, 1]
f1 = f1_score(y_true, y_pred)
print('F1-score:', f1)

4. Confusion matrix - это матрица, которая показывает, как классификатор классифицировал каждый класс. Главная диагональ матрицы (слева сверху до права вниз) показывает количество верных предсказаний для каждого класса, а вне главной диагонали указываются ложные предсказания.

Пример кода для вычисления confusion matrix:

python
from sklearn.metrics import confusion_matrix
y_true = [0, 1, 0, 1]
y_pred = [1, 1, 0, 1]
cm = confusion_matrix(y_true, y_pred)
print('Confusion matrix:\n', cm)

С помощью sklearn.metrics можно вычислить множество других метрик, такие как mean squared error, r2 score, accuracy score и другие. Они помогают понимать, насколько точно модель справляется с задачей и позволяют улучшать ее результаты.