|
Newsletter
en formato HTML
|
|
|
|
ABC del
Internet
|
|
|
|
Edición
003 - Agosto de 2002
|
Los
Ficheros Robot.txt
|
Contenido de Hoy
|
Nota
del Editor
Continuando
con el tema de las etiquetas, o meta-tags, es
muy importante mencionar las etiquetas de los
robots. Estas pocas veces se mencionan pero son
de gran importancia porque permiten comunicarnos
con las "arañas", o robots, que viajan
por el Internet indexando las páginas
inscritas en los motores de
búsqueda.
Hoy mas que
nunca hay que tener presentes los archivos
robot.txt porque los buscadores ya entraron a
efectuar lo que se denomina el "deep-linking".
Es decir, los robots entran a las páginas
y examinan todo el contenido de cada
página. Ya los buscadores no se limitan a
los "meta-tags" de la descripción, nombre
y key-words. Ahora entran y catalogan TODO el
contenido, salvo instrucciones en otro
sentido.
Es importante
controlar este proceso de busqueda, que es
guiado por los algoritmos de los buscadores
(search engines). Para ello es necesario conocer
el uso y el manejo de los ficheros robot.txt
.
El
Boletín del ABC del Internet tiene por
finalidad ser una herramienta de ayuda para
todos los Webmasters de habla hispana. Para
suscripciones o retiros, ver los enlaces al
final de la edición.
_____________________________
|
|
ABC DE
LOS FICHEROS ROBOT.TXT
1- Para qué sirven los Archivos Robot.txt ?
Si su sitio web tiene páginas o directorios
que no desea que sean indexados por los motores de
busqueda, usted puede utilizar los ficheros robot txt
para guiar a los robots sobre lo que pueden hacer y lo
que no pueden hacer en un sitio web.
Al llegar el robot (o "spider") al sitio, busca los
ficheros robot.txt y sigue sus instrucciones. Estos
ficheros no son obligatorios, por esta razón
muchos sitios web no los tienen. Los ficheros robots.txt
siempre se deben denominar "robots.txt" y deben estar
escritos en ascii.
2- Donde se colocan los Archivos Robot.txt ?
Deben ubicarse en el directorio principal (root
directory) del sitio web porque es ahí donde las
arañas estan instruídas a buscarlos.
Tome nota, si usted no tiene instalado un fichero
robot.txt en el directorio principal de su sitio web es
muy probable que en las estadísticas de
tráfico de su sitio aparezcan muchos errores 404.
Esto se origina al solicitar las arañas el fichero
y no encontrarlo.
^
Regresar
arriba
|
3- Como se crean
los ficheros Robot.txt ?
Con la ayuda de un procesador de palabras (word pad)
o un editor de HTML, usted podrá: (a)- crear el
archivo, (b)- salvarlo como: "robots.txt", y (c)- subir
el fichero al directorio principal, utilizando un
programa de FTP en la modalidad ACSII .
Ejemplos del código:
Para excluir todos los robots de algunas partes del sitio
web o servidor:
User-agent:
*
Disallow: /cgi-bin/
Disallow: /misc/sitestats/
Excluir un robot (o "spider") específico de
algunas partes del sitio web o servidor:
User-agent:slurp.so/
Disallow: /cgi-bin/
Disallow: /secure/
Disallow: /products/
Disallow:/misc/sitestats/
Para indicar que nada esta restringido y que los robot
puede seguir todos los links:
User-agent:
*
Disallow:
Para permitir acceso
completo a un robot específico y excluir a todos
los demás:
User-agent: Googlebot/1.0
Disallow:
User-agent: *
Disallow: /
OJO, peligro: este código le restingir el acceso a
todos los robots:
User-agent:
*
Disallow: /
^
Regresar
arriba
|
4- Cuales son
los principales robots?
Cada buscador tiene sus propios robots o "spiders". La
lista es larga, por limitaciones de espacio aquí
solamente mencionamos los más famosos:
Alta Vista : Scooter
Infoseek :
InfoSeek Sidewinder Ultraseek Mozilla
Lycos : Lycos_Spider_(T-Rex)
Google : Googlebot/1.0
Inktomi : Slurp
Slurp.so
^
Regresar
arriba
|
5- Donde se
colocan las etiquetas (tags) de los robots?
Las etiquetas o meta-tags para los Robots se colocan en
el encabezado de la página web para instruir al
robot sobre lo que puede y no puede indexar. Vea el
ejemplo siguiente ilustrativo:
<html>
<head>
<title>El ABC del INTERNET</title>
<meta name="description" content="Si usted tiene
páginas o directorios que usted no desea sean
indexadas por los motores de busqueda puede agregar estas
instrucciones en los ficheros robot txt y colocarlos en
el cada pagina restringida">
<meta name="robots" content="index,
follow">
</head>
<body>
^
Regresar
arriba
|
6- Cuales son
las etiquetas (meta-tags) para los Robots?
Indexar la página y seguir los
links
<meta name="robots" content="index, follow">
No indexar la
página, pero seguir los links
<meta name="robots" content="noindex, follow">
Indexar la
página, pero no seguir los
links:
<meta name="robots" content="index, nofollow">
No indexar ni seguir
los links:
<meta name="robots" content="noindex, nofollow">
Usted puede utilizar (colocar) estas etiquetas en cada
página específica conforme sean los
requerimientos individuales para cada página.
^
Regresar
arriba
|
Y eso es todo por hoy amigos. Hasta la próxima
edición.
Un saludo para todos!
Enrique de Argaez, Editor
webmaster@abcdelinternet.com
P.D.
Si aún no lo has hecho, confirma tu
suscripción gratis al Boletín del ABC
aquí.
(un
anuncio de nuestro
patrocinador)
AFILIESE
AL ABC DEL INTERNET
¡Un
Portal Privado con Información
Exclusiva!
!Recursos, tutoriales, ofertas, nuevas
tecnologías!
Valor
afiliación US$50 por un
año
http://www.abcdelinternet.com/abc.htm
Todo
el Internet a su Alcance !
|
^
Regresar
arriba
Acerca de este boletín
El "ABC del Internet" es una publicación
mensual de distribución gratuita vía
Internet, dedicada al tema del Manejo y
Admisitración del Internet y sus
tecnologías.
PARA SUSCRIBIRSE: - enviar email con su nombre a:
suscribir@abcdelinternet.com
PARA DAR DE BAJA: - enviar email con su nombre
a: dardebaja@abcdelinternet.com
< ir al archivo
http://
www.ABCdelinternet.com
©Copyright
2001-2002, Miniwatts International, Inc. Todos los derechos
reservados.
|