El fichero robots.txt indica a los buscadores qué es lo que pueden mirar en la web y lo que no. Si alguna vez has analizado el tráfico de tu web probablemente habrás visto que tienes un montón de visitas que realmente son los robots de los buscadores. Estos robots pueden consumir, en algunos casos, bastante ancho de banda y pueden meterse en sitios que preferimos que no queden indexados en los buscadores. Estos problemas pueden resolverse con el fichero robots.txt.
Es altamente recomendable tener este fichero en el directorio raíz de nuestro servidor. En la página The Web Robots Page (en inglés) se puede encontrar un buen montón de información sobre los robots: preguntas frecuentes, listas de robots, cómo crear un robots.txt, etc…
Puede que te resulte interesantes este analizador de ficheros robots.txt que nos avisa de posibles fallos y no da algunas recomendaciones: