Betekenis
Robots.txt is een bestand wat gebruikt kan worden om bij zoekmachines aan te geven of de crawlers van de zoekmachines door de site mogen crawlen.
Relevante artikelen
Vul de website scan in en ontdek of je website klaar is voor online succes!