Motores De Busqueda

¿Cómo funcionan los Motóres de búsqueda?

Introducción

Se suele decir que en Internet está TODO. La verdad es que Internet es una fuente de información inagotable e inmensa, aunque no todo esté bien o comprobado. Para poder encontrar esa información necesitamos usar un motor de búsqueda.

Ahora mismo hay miles de buscadores (Google, Yahoo!, MSN Live…) y metabuscadores (Whonu, CrossEngine, Allth.at…) pero antes de Google, y quitando el caso de Altavista, los buscadores eran directorios de “tags” de páginas web. Estos tags los incluías en buscadores los cuáles definían tu contenido. Los buscadores realizaban una búsqueda entre esas palabras.

En la actualidad los buscadores funcionan con unos índices automáticos que se actualizan continuamente mediante arañas. Una araña o spider es un programa cuya función es la de recorrer la web y recolectar información que posteriomente será indexada. La araña más conocida y que más tiempo lleva rastreando la red es el Googlebot, encargado de recoger los links que después se encontrarán en Google.

Las arañas o robots

El nombre de araña viene por su funcionamiento: recorrer la red (web). Hay muchísimas arañas recorriendo la red. De hecho cualquiera puede programar una araña y enviarla a que recopile información. Aquí tienen dos enlaces de cómo programar arañas en Java y una a un foro donde se habla de cómo programarlas en diversos lenguajes.

Las principales arañas son Google Bot (Google), Slurp (Yahoo), MSNBot (Microsoft) y Teoma (Ask). El proceso de recopilación de una araña es el siguiente:

1. Una araña visita tu página web, entrando por el root, lee TODO el contenido y crea una lista de lo que ha encontrado.

2. La información es indexada según los algoritmos internos usados por el buscador

3. Esta información es llevada a una central donde se almacena.

4. Cuando alguien realiza una búsqueda, y el sistema muestra todas las webs que contienen la palabra o frase buscada.

El orden en que muestra los resultados depende de los algoritmos internos en los que se tienen en cuenta “la importancia” de una página web.

Las arañas al recorrer nuestra web van dejando un rastro de logs (bitácoras). De esta forma podrás saber con un programa de estadísticas que arañas que te han visitado entre otras cosas. Para conseguir que una araña visite nuestra web basta con indicarlo al adquirir el dominio o si es un Gestor de Contenidos (CMS) indicándolo en la instalación… Si apareces en otra página que es ratreada por una araña automáticamente te rastreará la tuya.

Por cierto las arañas también tienen ciertas limitaciones ya que no pueden recorrer código JavaScript, enlaces en botones, pop ups, presentación en flash…

Robots.txt

Hay muchas veces que no querrás que las arañas recorran y sobretodo indexen muchas de las cosas de tu site. Para ello se usa el Protocolo de Exclusión de Robots. Deberemos crear un archivo llamado robots.txt y guardarlo en el root de nuestro site. Lo primero que harán las arañas al entrar en tu web será leer este

...