Robots.txt uitleg voor beginners: wat zet je erin en wat juist niet?

Een verkeerd slashje is soms al genoeg. Eén te brede regel in robots.txt, en zoekmachines slaan ineens een deel van je site over dat je juist wél zichtbaar wilde hebben. Dat gebeurt vaker dan je denkt, vooral op sites waar iemand “even snel” iets aanpast.

Voor beginners oogt dit bestand technisch, maar de basis is vrij overzichtelijk. Het staat in de hoofdmap van je website en geeft crawlers aanwijzingen over welke delen ze wel of niet moeten bezoeken. Handig voor bijvoorbeeld adminpagina’s, testmappen of andere stukken die geen waarde hebben in zoekmachines. Minder handig als je echt iets wilt afschermen, want daar is het niet voor bedoeld.

Wat een robots.txt bestand doet

robots.txt is een eenvoudig tekstbestand dat hoort bij het zogeheten Robots Exclusion Protocol. In gewone taal: je zet een bestand in de root van je domein en daarin geef je bots instructies.

Zo’n crawler kijkt meestal eerst naar:

https://www.jouwdomein.nl/robots.txt

Daar leest die regels zoals:

• User-agent
• Disallow
• Allow
• Sitemap

Belangrijk detail: dit zijn instructies, geen slot op de deur. Veel zoekmachines houden zich eraan, maar het is geen beveiliging. Wie gevoelige informatie wil beschermen, moet dat via inlog, serverinstellingen of andere toegangsbeperking regelen.

Waarom dit nuttig is voor SEO

Niet elke pagina op je site hoeft bezocht te worden door een zoekmachine. Denk aan:

• inlogpagina’s
• admin-omgevingen
• testmappen
• interne zoekresultaten
• tijdelijke bestanden

Als bots daar tijd aan besteden, gaat die aandacht niet naar je belangrijkste pagina’s. Op kleine sites merk je dat soms nauwelijks, maar op grotere websites of webshops kan het wel degelijk schelen.

Een goed ingesteld bestand helpt meestal op drie punten:

1. Crawlers stuur je gerichter
   Onbelangrijke delen laat je links liggen, zodat bots sneller bij je echte content uitkomen.

2. Je voorkomt onnodig bezoek aan rommelige of tijdelijke URL’s
   Bijvoorbeeld een stagingmap of oude testomgeving.

3. Je beperkt onnodige serverbelasting
   Vooral als bots veel irrelevante paden proberen te bezoeken.

Dat maakt het ook voor zzp’ers en mkb-sites praktisch. Je hoeft geen enorm platform te beheren om hier baat bij te hebben.

Zo werkt de opbouw

De structuur is simpeler dan hij eruitziet. Een basisvoorbeeld:

User-agent: *
Disallow: /private/
Sitemap: https://www.jouwdomein.nl/sitemap.xml

Dit betekent:

• de regel geldt voor alle bots (*)
• de map /private/ mag niet gecrawld worden
• de XML-sitemap staat op het opgegeven adres

De onderdelen op een rij:

User-agent

Hiermee geef je aan voor welke crawler de regel geldt. Met * bedoel je: voor allemaal.

Disallow

Daarmee blokkeer je een pad voor crawlen.

Allow

Hiermee maak je binnen een geblokkeerd deel soms een uitzondering.

Sitemap

Dat is geen blokkade, maar een verwijzing naar je sitemap.

Wat je er wél in zet

De beste aanpak is meestal: houd het klein. Zet alleen regels in het bestand die een duidelijk doel hebben.

Admin- of beheergedeeltes

Een veelvoorkomend voorbeeld:

User-agent: *
Disallow: /wp-admin/

Dat voorkomt dat crawlers onnodig door beheerpagina’s lopen.

Let op: bij sommige systemen, zoals WordPress, wil je niet zomaar alles rond admin of assets blokkeren zonder te controleren wat nodig blijft voor rendering.

Testmappen of staging-achtige delen

Werk je met een map voor proefpagina’s of tijdelijke content, dan kan dit logisch zijn:

User-agent: *
Disallow: /test/

Of bijvoorbeeld:

User-agent: *
Disallow: /staging/

Je sitemap vermelden

Dit is een simpele, nuttige toevoeging:

Sitemap: https://www.jouwdomein.nl/sitemap.xml

Zo help je zoekmachines sneller de juiste URL’s te vinden.

Wat je er beter niet in zet

Hier gaat het in de praktijk het vaakst mis.

Geen gevoelige informatie

Een map blokkeren in robots.txt betekent niet dat die veilig is. Integendeel: je laat eigenlijk zien dát die map bestaat. Voor privébestanden, klantdata of afgeschermde documenten gebruik je:

• een wachtwoord
• serverrestricties
• een noindex-oplossing waar passend
• of het volledig weghalen van publieke toegang

Geen verwarring tussen crawlen en indexeren

Dit punt is belangrijk. Disallow en noindex doen niet hetzelfde.

• robots.txt stuurt of een bot een URL mag bezoeken
• een meta robots-tag zoals noindex stuurt of een pagina in de index mag komen

Blokkeer je een pagina via Disallow, dan kan die soms nog steeds in zoekresultaten opduiken als er elders naar gelinkt wordt. Wil je een pagina echt uit de index houden, dan is een noindex-tag meestal de juiste route.

Geen CSS- en JS-bestanden blokkeren zonder reden

Als zoekmachines je stylesheets of scripts niet mogen laden, kunnen ze pagina’s minder goed begrijpen of weergeven. Dat kan invloed hebben op hoe je site beoordeeld wordt.

Geen brede blokkades zonder controle

Een regel als deze kan veel meer raken dan je denkt:

Disallow: /

Daarmee sluit je in feite je hele site af voor crawlers. Soms is dat bewust op een testomgeving, maar op een live site is het meestal een fout met flinke gevolgen.

Een eenvoudig robots.txt voorbeeld

Voor een kleine website is dit vaak al genoeg:

User-agent: *
Disallow: /private/
Disallow: /test/
Sitemap: https://www.jouwdomein.nl/sitemap.xml

Meer hoeft het lang niet altijd te zijn. Sterker nog: hoe ingewikkelder het bestand, hoe groter de kans op fouten.

Waar moet het bestand staan?

De locatie ligt vast: in de root directory van je domein.

Dus:

https://www.jouwdomein.nl/robots.txt

Niet in een submap. Niet als los document ergens in je CMS. En ook niet op een subdomein als het eigenlijk voor je hoofddomein bedoeld is.

Heb je meerdere subdomeinen, zoals shop.jouwdomein.nl en www.jouwdomein.nl, dan hebben die in de praktijk elk hun eigen bestand nodig.

Praktische aandachtspunten

Een paar kleine details maken vaak het verschil.

Let op hoofdletters en padnamen

URL’s en mappen moeten exact kloppen. /Test/ is iets anders dan /test/ als je server hoofdlettergevoelig werkt.

Gebruik een echt tekstbestand

Maak het aan als plain text, bijvoorbeeld in Kladblok, Notepad++, VS Code of een andere simpele editor. Geen Word-document of opgemaakte tekst.

Houd het compact

Voor de meeste websites blijft dit bestand klein. Dat is ook prima. Een lange lijst met oude uitzonderingen, vergeten regels en halve experimenten maakt het vooral foutgevoeliger.

Zo maak of beheer je het

Daar heb je geen zware software voor nodig. Dit zijn de meest praktische routes.

Handmatig bewerken

Prima als je weet wat je doet. Je maakt een tekstbestand aan, noemt het robots.txt en zet het in de root van je site via FTP, hostingbeheer of je deploymentproces.

Via een plugin

Werk je met WordPress, dan kun je dit vaak beheren via plugins zoals:

• Yoast SEO
• Rank Math
• All in One SEO

Dat is handig als je liever niet direct in bestanden werkt.

Met een generator of validator

Vind je de syntax spannend, dan kun je eerst een opzet maken met een tool. Denk aan een robots.txt generator of validator. Gebruik zo’n hulpmiddel wel als startpunt, niet als blind advies. Wat voor de ene site logisch is, kan voor de andere juist problemen geven.

Eerst testen, dan pas live zetten

Juist bij dit soort bestanden is testen geen formaliteit. Een kleine fout kan grote impact hebben.

Controleer daarom na elke wijziging:

• of de juiste URL’s geblokkeerd zijn
• of belangrijke pagina’s nog bereikbaar zijn voor crawlers
• of je sitemap correct genoemd wordt

Handige plekken om te checken:

• Google Search Console
• URL-inspectie
• serverlogs
• SEO-tools zoals Screaming Frog of Sitebulb

Met een crawler als Screaming Frog of Sitebulb zie je vaak snel welke delen van je site door regels geraakt worden. Dat maakt het makkelijker om fouten op te sporen vóór ze echt schade doen.

Veelgemaakte fouten

Wie voor het eerst met robots.txt werkt, loopt vaak tegen dezelfde missers aan:

• denken dat een geblokkeerde pagina automatisch uit Google verdwijnt
• gevoelige content proberen te “verstoppen”
• CSS of JavaScript blokkeren zonder noodzaak
• het bestand op de verkeerde plek zetten
• een te brede Disallow gebruiken
• wijzigingen live zetten zonder controle

Vooral die laatste is berucht. Even aanpassen, opslaan, klaar, en pas weken later merken dat bots een belangrijk deel van de site niet meer meenemen.

Robots.txt en AI-crawlers

Naast klassieke zoekmachinebots zijn er inmiddels ook AI-crawlers. Niet elke partij gaat daar op dezelfde manier mee om. Sommige volgen de instructies netjes, andere minder strikt.

Daarom blijft de kern hetzelfde: gebruik dit bestand voor crawl-instructies, niet als beveiliging of als waterdichte manier om hergebruik van content te voorkomen.

Soms kom je ook termen tegen als llms.txt. Dat is een apart onderwerp, en voor de meeste websites verandert het niets aan de basis van een goed robotsbestand.

FAQ

Wat als mijn website geen robots.txt heeft?

Dan bepalen crawlers zelf welke delen ze bezoeken. Dat hoeft niet direct een probleem te zijn, maar je mist wel de mogelijkheid om onbelangrijke paden gericht uit te sluiten.

Kan ik hiermee pagina’s uit Google verwijderen?

Nee, niet betrouwbaar. Daarvoor gebruik je meestal een noindex-tag of verwijder je de pagina volledig. In sommige gevallen kun je aanvullend een verwijderverzoek via Search Console doen.

Waar moet het robots.txt bestand staan?

Altijd in de root van het domein of subdomein waarvoor het geldt, bijvoorbeeld:

https://www.jouwdomein.nl/robots.txt

Zijn robots.txt regels hoofdlettergevoelig?

De regels zelf zijn dat niet per se, maar de URL-paden waarnaar je verwijst kunnen wel hoofdlettergevoelig zijn. Controleer dus altijd de exacte schrijfwijze van mappen en bestanden.

Hoe test ik of mijn instellingen goed staan?

Gebruik Google Search Console, controleer belangrijke URL’s met URL-inspectie en laat eventueel een crawler zoals Screaming Frog of Sitebulb over je site lopen.