Test Train Split: A Crucial Step in Machine Learning

Test train split (или разбиение выборки на тренировочную и тестовую) используется в машинном обучении для оценки производительности модели на новых данных, которые не были использованы в процессе обучения. Это необходимо, чтобы избежать переобучения модели на имеющихся данных и убедиться в ее способности обобщаться на новые данные.

Код для разбиения выборки на тренировочную и тестовую может выглядеть следующим образом:

from sklearn.model_selection import train_test_split
X = dataset.drop('target_column', axis=1)
y = dataset['target_column']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

Здесь `X` представляет собой матрицу признаков, а `y` - вектор целевых значений. Функция `train_test_split` разбивает данные на тренировочную и тестовую выборки, аргумент `test_size` определяет размер тестовой выборки (в данном случае 20% от всего набора данных). Аргумент `random_state` задает начальное число для генератора случайных чисел, что гарантирует воспроизводимость результатов при каждом запуске кода.

После разбиения выборки можно обучать модель на обучающей выборке и оценивать ее производительность на тестовой выборке:

from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(X_train, y_train)
y_pred = regressor.predict(X_test)
# Оценка качества модели на тестовой выборке
from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, y_pred)
print('MSE на тестовой выборке:', mse)

Здесь создается объект линейной регрессии и обучается на тренировочной выборке (`X_train`, `y_train`). Затем модель используется для предсказания целевых значений на тестовой выборке (`X_test`), и производительность модели оценивается по среднеквадратичной ошибке (`MSE`). В идеале, MSE на тренировочной и тестовой выборках должны быть сравнимы - это говорит о том, что модель способна хорошо обобщаться на новые данные. Если же MSE на тестовой выборке значительно выше, чем на тренировочной, это может быть признаком переобучения модели на тренировочных данных.

Таким образом, разбиение выборки на тренировочную и тестовую позволяет оценить производительность модели на новых данных и выявить ее способность к обобщению.