Je website optimaliseren met behulp van robots.txt

Waar het bij het optimaliseren van je website meestal gaat over er voor zorgen dat je pagina’s wél worden geïndexeerd door zoekmachines, zorgt een robots.txt er voor dat bepaalde pagina’s juist niet geïndexeerd worden. Dit kan bijvoorbeeld voorkomen als je website pagina’s bevat van lage kwaliteit of met duplicate content. Met behulp van een robots.txt bestand geef je aan welke delen van je website verboden terrein zijn voor crawlers van zoekmachines. In deze blog legt Onwise je alles uit over een robots.txt bestand en de voor- en nadelen ervan!

Hoe werkt een robots.txt?

Zoekmachines maken gebruik van crawlers. Deze crawlers doorlopen alle pagina’s van je website en slaan de informatie op in een grote database. Wanneer jouw website voorzien is van een robots.txt bestand, kan een crawler zien welke pagina’s wel en niet toegankelijk zijn voor hem. In feite is de robots.txt dus een wegwijzer voor de crawler. Een robots.txt pagina is bereikbaar via de root van je website, dus altijd achter je domeinnaam. Met de instructie ‘user-agent’ kun je de richtlijnen voor de crawlers opstellen. Zo kun je met de term ‘Allow’ pagina’s toestaan voor een bot, en met ‘Disallow’ pagina’s weigeren.

Waarom een robots.txt?

Zoals gezegd zorgt een robots.txt bestand er voor dat bepaalde pagina’s op je website niet geïndexeerd worden door zoekmachines. Dit is vooral van belang wanneer je pagina’s veel duplicate content, ofwel dubbele content, bevatten. Dit soort content wordt namelijk keihard afgestraft door zoekmachines en zorgt voor een lagere ranking in de zoekresultaten. En dat wil je niet! Met een robots.txt kun je dit voorkomen.

Let op: robots.txt is geen beveilingsoplossing!

Een robots.txt kan dus erg handig zijn, maar let op. Het is geen beveilingsoplossing! De instructies fungeren als richtlijnen voor de crawlers, en het is dus mogelijk dat zij deze richtlijnen niet opvolgen. Wil je dat bepaalde info door niemand gevonden wordt? Dan is het slim om dit niet op het internet te plaatsen en al helemaal niet in het robots.txt bestand. Het veilig afschermen van gegevens kun je beter doen met andere blokkeringsmethoden, zoals een wachtwoordbeveiliging.

Wil je meer weten over het robots.txt bestand of heb je hulp nodig bij maken van zo’n bestand voor jouw website? Neem dan gerust contact op met Onwise, wij helpen je graag verder!