Qué es el fichero robots.txt
El fichero robots.txt indica a los buscadores qué es lo que pueden mirar en la web y lo que no. Si alguna vez has analizado el tráfico de tu web probablemente habrás visto que tienes un montón de visitas que realmente son los robots de los buscadores. Estos robots pueden consumir, en algunos casos, bastante … Read more