Todo sobre programación C#, SQL, HTML y más : Aprende web Scraping - Web ESPN

1. Web Scraping de la página ESPN

En este capítulo del curso de programación en c# con visual studio 2017 vamos ha empezar con la técnica conocida como web scraping. A grandes rasgos podemos decir que se trata de una técnica para extraer información de sitios web, se trata de un proceso para recopilar información de forma automática de páginas que encontremos publicadas en la red.

Os dejo un enlace con una definición más amplia: https://es.wikipedia.org/wiki/Web_scraping

Antes de continuar con la entrada del blog comentaros que en España el web scraping en sí, es legal. Es importante que entendamos que el problema no está en el uso de los crawlers o bots para rastrear la red, sino en el uso que damos de los datos conseguidos. Como en nuestro caso el objetivo es simplemente aprender ha construir un bot para realizar esta tarea, y no le vamos a dar ningún uso comercial no creo que haya ningún problema.

Una vez aclaradas estás cuestiones paso a comentaros lo que nos espera en las siguientes semanas en nuestro blog :

Crearemos un programa que rastree la web ESPN para obtener estadísticas de los jugadores.
Una vez hecho esto guardaremos en nuestro disco duro un fichero por cada jugador encontrado. Como esto se trata de un ejemplo sólo me bajaré la información de unos 5000 jugadores.
Una vez tengamos almacenada la información en disco definir tablas en una base de datos para guardar la información.
Volcar la información de los ficheros a nuestras base de datos.
Crear un página web o aplicación de escritorio donde consultar las estadísticas.