Betekenis

Robots.txt is een bestand wat gebruikt kan worden om bij zoekmachines aan te geven of de crawlers van de zoekmachines door de site mogen crawlen.

Onwise - We are On it Onwise - We are On it