Ao avaliar a performance de diversos modelos preditivos para um problema de regr...

Questão de Engenharia de Software da banca CESGRANRIO aplicada no concurso BNDES (2024). Confira a resolução completa abaixo:

Q906132•
Engenharia de Software•
CESGRANRIO•
BNDES•
Ciência de Dados Manhã•
2024

Ao avaliar a performance de diversos modelos preditivos para um problema de regressão e outro de classificação, várias métricas podem ser utilizadas para determinar qual modelo oferece o melhor desempenho. Considere as métricas para regressão e classificação, bem como as técnicas de detecção de overfitting e underfitting.
Nesse contexto, quais métricas devem ser utilizadas para determinar qual modelo oferece o melhor desempenho?

Para avaliar um modelo de regressão, deve-se utilizar a métrica Accuracy (acurácia) para determinar a proporção de previsões corretas, enquanto, no problema de classificação, o uso do R² ajustado é essencial para medir a variabilidade explicada pelo modelo, ajustada pelo número de features.

Para modelos de classificação, é importante utilizar a métrica R² para entender a proporção da variância explicada pelo modelo, enquanto o F1-score deve ser utilizado em problemas de regressão em que há um equilíbrio significativo entre as classes.

Para a detecção de overfitting e de underfitting, pode ser realizada a observação do trade-off entre viés e variância nas curvas de aprendizagem, independentemente do tipo de modelo (regressão ou classificação), sendo as métricas Accuracy e R² ajustado suficientes para medir a performance em ambos os casos.

No problema de regressão, o RMSE (Root Mean Square Error) é ideal para avaliar a média dos erros ao quadrado das previsões, e, para problemas de classificação, a análise da matriz de confusão permite calcular métricas como Precision, Recall, e F1-score, auxiliando na detecção de overfitting e underfitting.

No problema de regressão, o uso do MAE (Mean Absolute Error) é preferível ao RMSE (Root Mean Square Error) quando se deseja penalizar fortemente grandes erros, e, para problemas de classificação, a matriz de confusão é suficiente para detectar overfitting e underfitting.

Questões Relacionadas

Q150172•
Engenharia de Software•
UML•
NCE UFRJ•
TRE RJ•
Analista Judiciário Tecnologia da Informação

Generalização / Especialização é um tipo de relacionamento possível de ser aplicado ao(s) seguinte(s) elemento(s) de modelo na UML:

Q155003•
Engenharia de Software•
Metodologias Ageis•
FCC•
TRF 4a•
Analista Judiciário Tecnologia da Informação

Na fase de desenvolvimento do Scrum, o software é desenvolvido em processos iterativos denominados

Q232515•
Engenharia de Software•
Qualidade de Software•
FCC•
TJ PE•
Programador de Computador

Em relação a Qualidade e Teste de Software, quando um produto é previamente testado e enviado para uma nova avaliação, considere:

I. Todas as partes alteradas nos documentos, funcionalidades e informações devem ser testadas como se fosse um produto novo.

II. Todas as partes inalteradas que sejam influenciadas pelas partes alteradas ou por mudanças em um requerido sistema (de acordo com os conhecimentos específicos do testador) devem ser testadas por amostragem.

III. Todas as outras partes que não foram alteradas ou influenciadas pelas alterações, devem ser testadas como sendo um novo produto.

Está correto o que se afirma em

Notificações

Nada por aqui

Q906132•Engenharia de Software•CESGRANRIO•BNDES•Ciência de Dados Manhã•2024

Q906132•
Engenharia de Software•
CESGRANRIO•
BNDES•
Ciência de Dados Manhã•
2024