Deep Web

deep web

Se conoce como Internet profunda o Internet invisible (en inglés: Deepnet, Invisible Web,"Deep web",Dark Web o Hidden Web) a todo el contenido de Internet que no forma parte del Internet Superficial, es decir, de las páginas indexadas por las redes de los motores de búsqueda de la red. Esto es debido a las limitaciones que tienen las redes para acceder a todas las webs por distintos motivos.

Causas

La principal causa de la existencia de la Internet Profunda es la imposibilidad de los motores de búsqueda de encontrar o indexar el 95% de la información existente en Internet. Si los buscadores pudieran acceder a toda la información entonces la "Internet profunda" desaparecería, pero esto es imposible porque siempre existirán páginas privadas. Los siguiente son algunos de los motivos por los que los buscadores son incapaces de indexar la Internet Profunda:

Páginas protegidas con contraseña

Documentos en formatos no indexables

Enciclopedias, diccionarios, revistas en las que para acceder a la información hay que interrogar a la base de datos (Por ejemplo RAE)

Tamaño

En el año 2000 se estimaba2 que el tamaño del Internet Profundo era de 7.500 Terabytes de datos en unos 550.000 millones de documentos.3 Para comparar se estima que en aquella época la Internet Superficial ocupaba 167 Terabytes y el contenido de la Biblioteca del Congreso de Estados Unidos tenía unos 3.000 Terabytes que no eran accesibles por los motores de búsqueda.

Estimaciones basadas en la extrapolación de un estudio de la Universidad de California en Berkeley especula que actualmente el Internet Profundo debe tener unos 91.000 TeraBytes.

Mike Bergman ha dicho que la búsqueda en el Internet hoy en día se puede comparar con una red de arrastre a través de la superficie del océano: una gran cantidad puede ser atrapada en la red, pero hay una gran cantidad de información que está en lo profundo y por lo tanto, se pierde. La mayor parte de la información de la Web está enterrada muy abajo en sitios generados dinámicamente, y los motores de búsqueda estándar no la encuentran. Los buscadores tradicionales no pueden "ver" o recuperar el contenido de la Web profunda, esas páginas no existen hasta que se crea de forma dinámica, como resultado de una búsqueda específica. La Web profunda es la órdenes de magnitud más grande que la web de la superficie.3

Denominación

Bergman, en un artículo seminal sobre la Web profunda publicado en el Journal of Electronic Publishing, mencionó que Jill Ellsworth utilizó el término "la Web invisible" en 1994 para referirse a los sitios web que no están registrados por algún motor de búsqueda.3 Bergman citó un artículo de 1996 de Frank García:5

Sería un sitio que es, posiblemente, está diseñado razonablemente, pero no se molestó

...