De Robots.txt bestanden zijn een technisch onderdeel van SEO, waarmee je als grote website een behoorlijke groei kan doormaken. Je leest daarom hieronder wat een Robots.txt bestand is, hoe deze werkt en hoe deze eruit kan zien. Door uit te leggen welke elementen je nodig hebt om SEO te optimaliseren middels Robots.txt bestanden, krijg je een beter beeld van het proces.
Wat is een Robots.txt bestand?
Een Robots.txt bestand is een tekstbestand dat zich op een website bevindt. Een Robots.txt bestand vertelt zoekmachines welke pagina’s er wel of niet geïndexeerd moeten worden. Op die manier dienen Robots.txt bestanden ervoor te zorgen dat gevoelige of niet-relevante pagina’s niet worden geïndexeerd.
Hoe werkt Robots.txt?
Iedere zoekmachine zal eerst naar het Robots.txt bestand kijken, alvorens deze begint met het crawlen van de website. Je vertelt de bots van de zoekmachines met het Robots.txt bestand op welke plekken de zoekmachines wel en niet mogen crawlen (uitlezen). Hierdoor kun je de tijd van zoekmachines efficiënt inzetten en de focus leggen op pagina’s die je wél wilt laten indexeren.
Voorbeeld van een Robots.txt bestand
Je kunt je Robot.txt bestand vaak inzien door naar: https://jouwwebsite.nl/robots.txt te gaan.
Elementen in de Robots.txt file
Een Robots.txt file bestaat uit een aantal elementen. Deze onderscheiden we als volgt:
- User-agent: Iedere zoekmachine heeft een user-agent. Dit is een softwarebot, die webpagina’s crawlt voor de zoekmachines. User-agents volgen de instructies in het Robots.txt bestand om pagina’s wel of juist niet te indexeren. Belangrijk is dan, om aan te geven of je een ‘Allow’ geeft of een ‘Disallow’. Oftewel; is de pagina wel of niet beschikbaar voor de user-agent?
- Sitemap: Een sitemap is een XML-bestand op een website die een overzicht biedt van alle pagina’s, hun relaties en metadata, om zoekmachines te helpen de site efficiënt te indexeren. Je kunt meerdere sitemaps plaatsen, waarbij het belangrijk is dat de exacte URL wordt gebruikt.
Robots.txt optimaliseren voor SEO
Om alles uit je SEO te halen, kun je jouw Robots.txt bestand optimaliseren. Dit doe je door een nette opbouw te hanteren, een bestand kleiner dan 500 kb aan te bieden en maximaal één richtlijn per regel te plaatsen. Daarnaast is het goed om rekening te houden met het onderscheid dat zoekmachines maken tussen kleine letters en hoofdletters. Maak voor ieder subdomein een Robots.txt bestand aan en plaats deze altijd na de root van de website. Om te achterhalen welke richtlijnen er voor een specifieke zoekmachine gehandhaafd moeten worden, zoals Google, kun je deze eerst onderzoeken. In de meeste gevallen is het met name voor grotere websites interessant om deze optimalisatie uit te voeren, als er veel technische kennis en verstand van de taken in huis is. Dit geldt in mindere mate voor de kleinere websites.
Impact op SEO
De impact op SEO kan erg groot zijn, indien alles goed wordt uitgevoerd. Het is daarom belangrijk dat je technische SEO kennis hebt, voordat je begint met het aanpassen van Robots.txt bestanden. Heb je dit niet, dan is het verstandig om een positieve impact op de SEO te laten realiseren door een professional. Bij verkeerd handelen kan het namelijk ook jouw SEO en de website schaden.
Ons advies
Heb je een grote website? Dan is het onwijs interessant om het proces omtrent Robots.txt bestanden eens uit te laten voeren door een professional. Voor de kleinere websites is de basis vaak al wel voldoende gelegd. Heb je geen ervaring met Robots.txt bestanden? Ga er dan niet zelf mee aan het werk! Wil je het uitbesteden neem dan contact met ons op.
