Контур

• Какова цель оценки модели?
• Какова цель оценки модели и какие общие процедуры оценки?
• Как используется точность классификации и каковы ее особенности? ограничения?
• Как матрица путаницы описывает эффективность классификатор?
• Какие показатели можно вычислить на основе матрицы путаницы?

Tцель оценки модели — ответить на вопрос;

как выбирать между разными моделями?

Процесс оценки машинного обучения помогает определить, насколько модель надежна и эффективна для ее применения. Это включает в себя оценку различных факторов, таких как производительность, показатели и точность прогнозов или принятия решений.

Независимо от того, какую модель вы решите использовать, вам нужен способ выбора между моделями: разные типы моделей, параметры настройки и функции. Также вам понадобится процедура оценки модели, чтобы оценить, насколько хорошо модель будет обобщаться на невидимые данные. Наконец, вам нужна процедура оценки, которая будет сочетаться с другой процедурой для количественной оценки эффективности вашей модели.

Прежде чем продолжить, давайте рассмотрим некоторые различные процедуры оценки моделей и то, как они работают.

Модельные процедуры оценки и как они работают.

1. Обучение и тестирование на одних и тех же данных
   • Награждает слишком сложные модели, которые «подгоняют» обучающие данные и не обязательно обобщают
2. Разделение обучения/тестирования
   • Разделите набор данных на две части, чтобы модель можно было обучить и протестировать на разных данных
   • Лучшая оценка эффективности за пределами выборки, но все же оценка с «высокой дисперсией»
   • Полезно благодаря скорости, простоте и гибкости
3. K-кратная перекрестная проверка
   • Систематически создавайте K-разделения поездов/тестов и усредняйте результаты вместе
   • Еще лучшая оценка эффективности за пределами выборки
   • Выполняется в «K» раз медленнее, чем разделение поезд/тест.

Из вышесказанного мы можем сделать следующий вывод:

• Обучение и тестирование на одних и тех же данных — это классическая причина переобучения, при которой вы строите слишком сложную модель, которая не обобщается на новые данные и на самом деле бесполезна.

• Train_Test_Split обеспечивает гораздо лучшую оценку производительности за пределами выборки.

• K-кратная перекрестная проверка более эффективна за счет систематического разделения тестов K-поезда и усреднения результатов вместе.

Подводя итог, можно сказать, что train_tests_split по-прежнему выгоден для перекрестной проверки благодаря своей скорости и простоте, и именно это мы и будем использовать в этом учебном руководстве.

Показатели оценки модели:

Вам всегда понадобится метрика оценки, соответствующая выбранной вами процедуре, и ваш выбор метрики зависит от проблемы, которую вы решаете. Для задач классификации вы можете использовать точность классификации. Но в этом руководстве мы сосредоточимся на других важных показателях оценки классификации.

Прежде чем мы изучим какие-либо новые показатели оценки, давайте рассмотрим точность классификации и поговорим о ее сильных и слабых сторонах.

Точность классификации

Для этого руководства мы выбрали набор данных о диабете индейцев пима, который включает данные о состоянии здоровья и статусе диабета 768 пациентов.

Давайте прочитаем данные и распечатаем первые 5 строк данных. В столбце метки указано 1, если у пациента диабет, и 0, если у пациента нет диабета, и мы намерены ответить на вопрос:

Вопрос: Можем ли мы предсказать статус диабета пациента, учитывая его показатели здоровья?

Мы определяем метрики наших функций X и вектор ответа Y. Мы используем train_test_split, чтобы разделить X и Y на наборы для обучения и тестирования.

Далее мы обучаем модель логистической регрессии на обучающем наборе. На этапе подгонки объект модели logreg изучает взаимосвязь между X_train и Y_train. Наконец, мы делаем прогнозы классов для тестовых наборов.

Теперь, когда мы сделали прогноз для тестового набора, мы можем вычислить точность классификации, которая представляет собой просто процент правильных прогнозов.

Однако каждый раз, когда вы используете точность классификации в качестве показателя оценки, важно сравнивать ее с Нулевой точностью, которая представляет собой точность, которой можно достичь, всегда прогнозируя наиболее часто встречающийся класс.

Нулевая точность отвечает на вопрос; если бы моя модель предсказывала преобладающий класс в 100 процентах случаев, как часто она была бы верной? В приведенном выше сценарии 32% числа y_test равны 1 (единицам). Другими словами, глупая модель, предсказывающая, что у пациентов диабет, будет верной в 68% случаев (что равно нулям). Это обеспечивает базовый уровень, относительно которого мы могли бы измерить нашу логистическую регрессию. модель.

Когда мы сравниваем нулевую точность 68% и точность модели 69%, наша модель выглядит не очень хорошо. Это демонстрирует один из недостатков точности классификации как показателя оценки модели. Точность классификации ничего не говорит нам о базовом распределении тестового теста.

В итоге:

• Точность классификации — это самый простой для понимания показатель классификации
• Но он не сообщает вам основное распределение значений ответа
• И он не сообщает вам, какие "типы" ошибок делает ваш классификатор.

Теперь посмотрим на матрицу путаницы.

Матрица путаницы

Матрица путаницы — это таблица, описывающая эффективность модели классификации.
Это полезно, чтобы помочь вам понять производительность вашего классификатора, но это не показатель оценки модели; так что вы не можете сказать scikit научиться выбирать модель с лучшей матрицей путаницы. Однако существует множество показателей, которые можно рассчитать на основе матрицы путаницы и напрямую использовать для выбора между моделями.

• Каждое наблюдение в тестовом наборе представлено в ровно одном блоке
• Это матрица 2x2, поскольку существует 2 класса ответов
• Показанный здесь формат не универсальный

Давайте объясним некоторые основные термины.

• Истинно положительные результаты (TP): мы правильно предсказали, что у них действительно диабет
• Истинно отрицательные значения (TN): мы правильно предсказали, что у них нет диабета
• Ложноположительные результаты (FP): мы неверно предсказали, что у них действительно диабет («ошибка I типа»)
• Ложноотрицательные результаты (FN): мы неправильно предсказали, что у них нет диабета («ошибка II типа»)

Давайте посмотрим, как можно рассчитать метрики

В заключение:

• Матрица путаницы дает вам более полную картину эффективности вашего классификатора
• Также позволяет рассчитывать различные показатели классификации, и эти показатели могут помочь при выборе модели