Qué es el fichero robots.txt

El fichero robots.txt indica a los buscadores qué es lo que pueden mirar en la web y lo que no. Si alguna vez has analizado el tráfico de tu web probablemente habrás visto que tienes un montón de visitas que realmente son los robots de los buscadores. Estos robots pueden consumir, en algunos casos, bastante … Read moreQué es el fichero robots.txt