Algunas razones por las que los motores de búsqueda no pueden indexar una Internet profunda

nSe conoce como Internet profunda o Internet invisible (en inglés: Deepweb, Invisible Web, Deep Web, Dark Web o Hidden Web) a todo el contenido de Internet que no forma parte del Internet superficial, es decir, de las páginas indexadas por las redes de los motores de búsqueda de la red. Esto se debe a las limitaciones que tienen las redes para acceder a todos los sitios web por distintos motivos.[cita requerida]

Índice [ocultar]

1 Causas

2 Tamaño

3 Denominación

4 Ingresando a la internet profunda

5 Véase también

6 Referencias

7 Enlaces externos

Causas[editar]

La principal causa de la existencia de la Internet profunda es la imposibilidad de los motores de búsqueda de encontrar o indexar gran parte de la información existente en Internet. Se estima que la Internet Profunda es 500 veces mayor1 que la Internet Superficial, siendo el 95% de esta información públicamente accesible. Si los buscadores tuvieran la capacidad para acceder a toda la información entonces la magnitud de la "Internet profunda" se reduciría casi en su totalidad; sin embargo, no desaparecería totalmente porque siempre existirán páginas privadas.

Los siguientes son algunos de los motivos por los que los buscadores son incapaces de indexar la Internet profunda:

Páginas y sitios web protegidos con contraseña.

Documentos en formatos no indexables.

Enciclopedias, diccionarios, revistas en las que para acceder a la información hay que interrogar a la base de datos, como por ejemplo la base de datos de la RAE.2

Tamaño[editar]

En el año 2000 se estimaba3 que el tamaño de la Internet profunda era de 7500 Terabytes de datos en unos 550 000 millones de documentos.4 Para comparar se estima que en aquella época la Internet superficial ocupaba 167 Terabytes y el contenido de la Biblioteca del Congreso de Estados Unidos tenía unos 3000 Terabytes que no eran accesibles por los motores de búsqueda.

La Internet profunda tiene el mayor crecimiento de nueva información en Internet, más de la mitad del contenido de este reside en bases de datos, la calidad del contenido de la Internet profunda es considerada por lo menos 1000 o 2000 veces mayor que la del Web superficial y el 95% de la información de la web profunda es información totalmente pública, libre de suscripciones y tarifas.5

Estimaciones basadas en la extrapolación de un estudio de la Universidad de California en Berkeley especula que actualmente la Internet profunda debe tener unos 91 000 Terabytes.6

Mike Bergman ha dicho que la búsqueda en el Internet hoy en día se puede comparar con una red de arrastre a través de la superficie del océano: una gran cantidad puede ser atrapada en la red, pero hay una gran cantidad de información que está en lo profundo y por lo tanto, se pierde. La mayor parte de la información de la Web está enterrada muy abajo en sitios generados dinámicamente, y los motores de búsqueda estándar no la encuentran. Los buscadores tradicionales no pueden "ver" o recuperar el contenido de la Web profunda, esas páginas no existen hasta que se crea de forma dinámica, como resultado de una búsqueda específica. La Web profunda es varios órdenes de magnitud más grande que la web de la superficie profunda.4

Denominación[editar]

Logo de Freenet.

Bergman, en un artículo semanal sobre la Web profunda publicado en el Journal of Electronic Publishing, mencionó que Jill Ellsworth utilizó el término "la Web invisible" en 1994 para referirse a los sitios web que no están registrados por algún motor de búsqueda.4

Bergman citó un artículo de 1996 de Frank García:7

Sería un sitio que, posiblemente esté diseñado razonablemente, pero no se molestaron en registrarlo en alguno de los motores de búsqueda. ¡Por lo tanto, nadie puede encontrarlos! Estás oculto. Yo llamo a esto la Web invisible.

Otro uso temprano del término Web Invisible o web profunda fue por Bruce Monte y Mateo B. Koll de Personal Library Software, en una descripción de la herramienta @ 1 de web profunda, en un comunicado de prensa de diciembre de 1996.8

El primer uso del término específico de web profunda,

...