Een bedankpagina hoort niet in Google. Een admin-map wil je liever ook niet steeds door bots laten bezoeken. Toch worden die twee situaties opvallend vaak met dezelfde oplossing aangepakt, en daar ontstaan de problemen.
De kern is simpel: noindex en disallow lijken op elkaar, maar sturen iets anders aan. De ene gaat over indexeren, de andere over crawlen. Als je dat verschil scherp hebt, voorkom je veel SEO-fouten.
Het verschil, zonder omweg
- Noindex zegt tegen zoekmachines: neem deze pagina niet op in de zoekresultaten.
- Disallow in
robots.txtzegt: bezoek deze URL of map niet.
Dat lijkt een klein nuanceverschil, maar het effect is heel anders.
Eerst even scherp: crawlen is niet hetzelfde als indexeren
Bij dit onderwerp lopen die twee begrippen vaak door elkaar.
Crawlen betekent dat een zoekmachine een URL bezoekt en probeert te lezen.
Indexeren betekent dat die URL daarna wel of niet wordt opgenomen in de zoekresultaten.
Dat onderscheid is belangrijk, want een pagina kan:
- wel gecrawld worden, maar niet geïndexeerd
- niet gecrawld worden, maar toch als URL bekend zijn bij Google
Precies daarom is robots.txt geen betrouwbare manier om iets uit de zoekresultaten te houden.
Wanneer noindex de juiste keuze is
Noindex gebruik je voor pagina’s die gewoon mogen bestaan en bereikbaar moeten blijven, maar die geen plek in Google nodig hebben.
Denk aan:
- bedankpagina’s na een aankoop of formulier
- interne zoekresultaten
- tijdelijke landingspagina’s zonder zoekwaarde
- dunne of ondersteunende pagina’s die niet bedoeld zijn voor organisch verkeer
De bekendste vorm is een meta-tag in de <head> van de pagina:
<meta name="robots" content="noindex">
Voor bestanden zoals pdf’s werkt dat anders. Daar kun je een X-Robots-Tag via de HTTP-header gebruiken.
Belangrijke voorwaarde
Een zoekmachine moet de pagina wel kunnen bezoeken om die instructie te zien. Zet je dus tegelijk een blokkade in robots.txt, dan kan de bot de noindex-tag mogelijk niet lezen.
Dat is meteen een van de meest gemaakte fouten.
Wanneer disallow logischer is
Sommige delen van een site voegen niets toe voor crawlers. Een loginomgeving, testmap of admin-sectie hoeft meestal niet steeds bezocht te worden. Dan is disallow vaak de betere keuze.
Dat regel je in robots.txt, bijvoorbeeld zo:
User-agent: *
Disallow: /admin/
Hiermee vraag je bots om alles onder /admin/ niet te crawlen.
Handig voor:
- admin-omgevingen
- inlogpagina’s
- testmappen
- irrelevante secties waar crawlers geen tijd aan hoeven te besteden
Dit draait vooral om efficiëntie. Zeker op grotere sites kan het helpen om crawlbudget niet te verspillen aan pagina’s die toch geen SEO-rol hebben.
De fout die het vaakst voorkomt
Het misverstand zit meestal hier: disallow is geen noindex.
Als een URL ergens gelinkt wordt, intern of extern, kan Google die URL nog steeds kennen. In sommige gevallen kan die dan alsnog in de zoekresultaten verschijnen, ook zonder de pagina-inhoud te hebben gelezen.
Dus:
- wil je iets uit Google houden? Gebruik noindex
- wil je bots weghouden van een locatie? Gebruik disallow
Dat verschil lijkt technisch, maar is in de praktijk heel concreet.
Noindex en disallow samen gebruiken? Meestal niet doen
Op papier klinkt het veilig: je zet een pagina op noindex én blokkeert hem in robots.txt. Dan zit je dubbel goed, toch?
Meestal juist niet.
Als de crawler door disallow niet op de pagina mag komen, ziet hij de noindex-tag niet. Dan haal je je eigen instructie onderuit.
Voor dezelfde URL is deze combinatie dus vaak contraproductief.
Praktische voorbeelden
Voorbeeld 1: bedankpagina na een formulier
Een bezoeker vult een formulier in en komt op /bedankt/. Die pagina moet gewoon werken voor echte gebruikers, maar je wilt niet dat iemand hem via Google vindt.
Beste keuze: noindex
Waarom? De pagina moet bereikbaar blijven, maar hoeft niet in de zoekresultaten te staan.
Voorbeeld 2: admin-omgeving
Je site heeft een map als /admin/ of /wp-admin/. Daar heeft een zoekmachine niets te zoeken.
Beste keuze: disallow
Waarom? Dit gaat niet om zichtbaarheid in Google, maar om onnodig crawlen voorkomen.
Voorbeeld 3: pdf die niet in zoekresultaten mag komen
Soms staat er een document online dat wel toegankelijk moet zijn voor klanten of collega’s, maar niet via zoekmachines gevonden hoeft te worden.
Beste keuze: X-Robots-Tag: noindex
Waarom? Een gewone meta-tag werkt niet in een pdf.
Wanneer je ze juist niet moet gebruiken
Niet elke SEO-vraag los je op met deze twee instructies.
Gebruik robots.txt niet als beveiliging
robots.txt is openbaar. Iedereen kan dat bestand bekijken. Het is dus geen manier om gevoelige informatie af te schermen.
Wil je iets echt beschermen, gebruik dan bijvoorbeeld:
- een login
- IP-restricties
- server-authenticatie
Gebruik noindex niet als pleister op slechte content
Een zwakke pagina wordt niet beter doordat je hem uit de index haalt. Soms is verwijderen, samenvoegen of verbeteren logischer.
Gebruik geen brede blokkades zonder controle
Een regel als:
Disallow: /
blokkeert in feite je hele site voor crawlers. Prima op een testomgeving, riskant op een live website.
Zo maak je de juiste keuze
Twijfel je? Loop dan deze vragen langs.
1. Wat wil je precies voorkomen?
Wil je voorkomen dat een pagina in zoekresultaten verschijnt?
Dan is noindex meestal de juiste route.
Wil je voorkomen dat bots een map of URL bezoeken?
Dan past disallow beter.
2. Moet de pagina nog gewoon bereikbaar blijven?
Bij een bedankpagina is het antwoord vaak ja. Dan wil je niet blokkeren, maar alleen uit de index blijven.
Bij een admin-map is het antwoord voor crawlers meestal nee. Dan kun je die toegang beperken via robots.txt.
3. Kan de crawler de instructie wel zien?
Dat is de controlevraag bij noindex. Als een pagina niet crawlbaar is, kan die instructie gemist worden.
4. Is dit een SEO-keuze of een beveiligingsvraag?
Dat onderscheid voorkomt veel gedoe. Zoekmachine-instructies zijn geen beveiligingslaag.
Instellen op je website
Werk je met WordPress, dan kun je noindex meestal zonder code regelen via een SEO-plugin.
Veelgebruikte opties zijn:
- Yoast SEO
- All in One SEO
- Rank Math
Voor robots.txt heb je grofweg twee routes:
- handmatig het bestand aanpassen
- een plugin gebruiken die robots.txt laat bewerken
Gebruik je geen WordPress, dan kun je noindex vaak instellen in je CMS, template of via serverheaders. Voor pdf’s en andere niet-HTML-bestanden is die X-Robots-Tag vaak de juiste oplossing.
Controleren of het echt goed staat
Instellen is één ding. Controleren is minstens zo belangrijk.
Handige opties:
- Google Search Console voor URL-inspectie
- robots.txt checker of validator
- Screaming Frog SEO Spider om noindex-pagina’s en blokkades te crawlen
- Semrush Site Audit of Ahrefs Site Audit voor bredere technische controles
Minimaal wil je na een wijziging checken:
- kan de pagina nog gecrawld worden?
- staat er echt een noindex-tag op?
- blokkeert
robots.txtniet per ongeluk te veel? - is een belangrijke pagina niet onbedoeld uit de index gehaald?
Veelgemaakte fouten
Deze kom je in de praktijk steeds weer tegen:
- belangrijke pagina’s per ongeluk op noindex zetten
- noindex en disallow op dezelfde URL combineren
- robots.txt gebruiken alsof het beveiliging is
- een hele map blokkeren zonder te testen wat daar nog meer onder valt
- denken dat disallow automatisch betekent: niet zichtbaar in Google
- wijzigingen live zetten zonder controle in Search Console of een crawler
Vooral die eerste fout kan veel impact hebben. Een pagina kan technisch prima zijn, maar toch geen organisch verkeer krijgen omdat hij simpelweg niet geïndexeerd mag worden.
Een detail dat vaak voor verwarring zorgt
Een pagina met noindex is niet “weg”. Hij blijft gewoon bestaan op zijn URL. Bezoekers kunnen hem nog steeds bereiken via interne links, e-mails, advertenties of een directe link.
Dat maakt noindex juist zo bruikbaar voor functionele pagina’s: wel beschikbaar voor mensen, niet bedoeld voor zoekmachines.
FAQ
Wat is het verschil tussen noindex en disallow?
Noindex voorkomt dat een pagina in de zoekresultaten komt. Disallow vraagt crawlers om een pagina of map niet te bezoeken.
Kan Google een geblokkeerde URL toch tonen?
Ja, dat kan. Als Google de URL via links ontdekt, kan die soms alsnog als URL in de zoekresultaten verschijnen, ook zonder de pagina te crawlen.
Moet ik noindex en disallow tegelijk gebruiken?
Meestal niet. Als een pagina door robots.txt is geblokkeerd, kan de noindex-instructie onzichtbaar blijven voor de crawler.
Is robots.txt geschikt om gevoelige pagina’s af te schermen?
Nee. Het is een openbaar bestand en dus geen beveiligingsmaatregel.
Hoe stel ik noindex in WordPress in?
Dat kan meestal via een SEO-plugin, zoals Yoast SEO, Rank Math of All in One SEO.
