Curso Tensorflow con Anaconda -8. Generalización y sobreajuste

8. Generalización y sobreajuste

• Hola a todos.Vamos continuar con nuestro curso dedicado al aprendizaje automático.Para ello nos basaremos en un curso de google dedicado a este tema. En este enlace tenéis el curso al completo en castellano: https://developers.google.com/machine-learning/crash-course/ml-intro?hl=es

• En esta entrada del blog trataremos la generalización y los riesgos del sobreajuste. La generalización hace referencia a la capacidad del modelo para adaptarse de manera adecuada a datos nuevos nunca antes vistos, obtenidos de la misma distribución que aquellos utilizados para crear el modelo. Esto lo entenderemos mejor con un ejemplo donde debemos suponer que los puntos azules representan árboles enfermos y los naranjas arboles sanos.

•  Un determinado modelo de aprendizaje automático separó los árboles enfermos de los sanos de la siguiente manera:

• Con este modelo se produce una perdida muy baja.Aparentemente es un buen modelo, pero cuando agregamos más datos el modelo se adapta bastante mal a los nuevos datos.Como podemos ver en la siguiente imagen: 
  

• El modelo de la segunda imagen sobreajusta los datos con los que se entrenó. Un modelo sobreajustado obtiene una pérdida baja durante el entrenamiento, pero no se desempeña bien al predecir datos nuevos. El sobreajuste se genera al desarrollar un modelo más complejo que lo necesario.

• Un modelo de aprendizaje automático tiene como objetivo realizar buenas predicciones sobre datos nuevos nunca antes vistos.  Pero, si desarrollas un modelo a partir de tu conjunto de datos, ¿cómo obtendrías los datos nunca antes vistos?  Una forma es dividir el conjunto de datos en dos subconjuntos:
• Conjunto de entrenamiento: Un subconjunto para entrenar un modelo.
• Conjunto de prueba: Un subconjunto para probar el modelo.

• Os dejo el vídeo donde os cuento todo esto y practico con ejemplos: