Contorno

• Qual é o objetivo da avaliação do modelo?
• Qual é o propósito da avaliação do modelo e quais são alguns procedimentos de avaliação comuns?
• Qual é o uso da precisão da classificação e quais são seus limitações?
• Como uma matriz de confusão descreve o desempenho de um classificador?
• Quais métricas podem ser calculadas a partir de uma matriz de confusão?

To objetivo da avaliação do modelo é responder à pergunta;

como faço para escolher entre diferentes modelos?

O processo de avaliação de um aprendizado de máquina ajuda a determinar quão confiável e eficaz o modelo é para sua aplicação. Isso envolve a avaliação de diversos fatores, como desempenho, métricas e precisão para previsões ou tomada de decisão.

Não importa qual modelo você escolha usar, você precisa escolher entre modelos: diferentes tipos de modelos, parâmetros de ajuste e recursos. Além disso, você precisa de um procedimento de avaliação de modelo para estimar quão bem um modelo será generalizado para dados invisíveis. Por último, você precisa de um procedimento de avaliação para emparelhar com o seu procedimento para quantificar o desempenho do seu modelo.

Antes de prosseguirmos, vamos revisar alguns dos diferentes procedimentos de avaliação de modelos e como eles funcionam.

Procedimentos de avaliação de modelos e como eles funcionam.

1. Treinamento e testes nos mesmos dados
   Recompensa modelos excessivamente complexos que "ajustam demais" os dados de treinamento e não necessariamente generalizam
2. Divisão de treinamento/teste
   Divida o conjunto de dados em duas partes, para que o modelo possa ser treinado e testado em dados diferentes
   Melhor estimativa do desempenho fora da amostra, mas ainda uma estimativa de "alta variação"
   Útil devido à sua velocidade, simplicidade e flexibilidade
3. Validação cruzada K-fold
   Crie sistematicamente divisões de treinamento/teste "K" e calcule a média dos resultados juntos
   Estimativa ainda melhor do desempenho fora da amostra
   Executa "K" vezes mais devagar do que a divisão de treinamento/teste.

Do acima, podemos deduzir que:

• Treinar e testar nos mesmos dados é uma causa clássica de overfitting, no qual você constrói um modelo excessivamente complexo que não pode ser generalizado para novos dados e que não é realmente útil.

• Train_Test_Split fornece uma estimativa muito melhor do desempenho fora da amostra.

• A validação cruzada K-fold tem melhor desempenho ao treinar sistematicamente K divisões de teste e calcular a média dos resultados juntos.

Em resumo, train_tests_split ainda é lucrativo para validação cruzada devido à sua velocidade e simplicidade, e é isso que usaremos neste guia tutorial.

Métricas de avaliação do modelo:

Você sempre precisará de uma métrica de avaliação para acompanhar o procedimento escolhido, e a escolha da métrica depende do problema que você está abordando. Para problemas de classificação, você pode usar a precisão da classificação. Mas vamos nos concentrar em outras métricas importantes de avaliação de classificação neste guia.

Antes de aprendermos qualquer nova métrica de avaliação' Vamos revisar a

precisão da classificação e falar sobre seus pontos fortes e fracos.

Precisão de classificação

Escolhemos o conjunto de dados Pima Indians Diabetes para este tutorial, que inclui dados de saúde e status de diabetes de 768 pacientes.

Vamos ler os dados e imprimir as 5 primeiras linhas dos dados. A coluna do rótulo indica 1 se o paciente tiver diabetes e 0 se o paciente não tiver diabetes, e pretendemos responder à pergunta:

Pergunta: Podemos prever o status de diabetes de um paciente com base em suas medidas de saúde?

Definimos nossas métricas de recursos X e vetor de resposta Y. Usamos train_test_split para dividir X e Y em conjuntos de treinamento e teste.

A seguir, treinamos um modelo de regressão logística no conjunto de treinamento. Durante a etapa de ajuste, o objeto do modelo logreg está aprendendo o relacionamento entre X_train e Y_train. Finalmente, fazemos previsões de classe para os conjuntos de teste.

Agora que fizemos previsões para o conjunto de testes, podemos calcular a precisão da classificação, que é simplesmente a porcentagem de previsões corretas.

No entanto, sempre que você usar a precisão da classificação como métrica de avaliação, é importante compará-la com a

Precisão nula, que é a precisão que pode ser alcançada prevendo sempre a classe mais frequente.

Precisão nula responde à pergunta; se meu modelo previsse a classe predominante 100% das vezes, com que frequência ele estaria correto? No cenário acima, 32% do y_test são 1 (unidades). Em outras palavras, um modelo burro que prevê que os pacientes têm diabetes estaria certo 68% das vezes (que são os zeros).Isso fornece uma linha de base contra a qual podemos querer medir nossa regressão logística modelo.

Quando comparamos a precisão nula de

68% e a precisão do modelo de 69%, nosso modelo não parece muito bom. Isso demonstra uma fraqueza da precisão da classificação como métrica de avaliação do modelo. A precisão da classificação não nos diz nada sobre a distribuição subjacente do teste de teste.

Resumindo:

A precisão da classificação é a
• métrica de classificação mais fácil de entender
Mas, não informa a
• distribuição subjacente dos valores de resposta
E não informa quais
• "tipos" de erros seu classificador está cometendo.

Vamos agora dar uma olhada na matriz de confusão.

Matriz de confusão

A matriz de confusão é uma tabela que descreve o desempenho de um modelo de classificação.

É útil para ajudar você a entender o desempenho do seu classificador, mas não é uma métrica de avaliação do modelo; então você não pode dizer ao scikit para aprender a escolher o modelo com a melhor matriz de confusão. No entanto, existem muitas métricas que podem ser calculadas a partir da matriz de confusão e podem ser usadas diretamente para escolher entre modelos.

Cada observação no conjunto de testes é representada em
• exatamente uma caixa
É uma matriz 2x2 porque existem
• 2 classes de resposta
O formato mostrado aqui
• não universal

Vamos explicar algumas de suas terminologias básicas.

• Verdadeiros Positivos (TP): nós previmos corretamente que eles têm diabetes
• Verdadeiros Negativos (TN): nós previmos corretamente que eles não têm diabetes
• Falsos Positivos (FP): nós incorretamente previmos que eles têm diabetes (um "erro Tipo I")
• Falsos negativos (FN): nós previmos incorretamente que eles não têm diabetes (um "erro tipo II")

Vamos ver como podemos calcular as métricas

Para concluir:

A matriz de confusão oferece uma
• imagem mais completa do desempenho do seu classificador
Também permite calcular várias
• métricas de classificação, e essas métricas podem orientar sua seleção de modelo