4 redenen waarom Google je pagina's niet indexeert (en hoe je dit kunt oplossen)
Regelmatig ontvang ik mailtjes met de volgende vraag:
Een tijdje geleden heb ik mijn website online gezet. Maar wanneer ik zoek in Google dan worden mijn pagina’s niet gevonden.
De strekking van dit soort vragen is dus eigenlijk, Google vertoont mijn pagina’s niet. De redenen hiervoor kunnen uiteenlopend zijn, en in dit artikel ga ik de belangrijkste 4 redenen bespreken.
- Niet geïndexeerd of ...?
- Reden 1: Google heeft je website of pagina nog niet gevonden
- Reden 2: Google kan niet bij alle pagina’s via de interne links
- Reden 3: Je verbiedt Google om je pagina’s te indexeren
- Reden 4: Duplicate content (dubbele inhoud)
- Conclusie
1. Niet geïndexeerd of ...?
Vooraleer we kunnen weten wat er aan de hand is zullen we eerst moeten weten of dat je pagina’s zich wel in de index van Google bevinden. Grofweg zijn er twee redenen waarom pagina’s niet worden vertoond bij een zoekopdracht:
- De pagina’s worden wel gevonden voor een bepaalde zoekopdracht maar staan ergens op plaats 500 (met andere woorden, ze zijn er wel maar ze staan op een niet noemenswaardige positie)
- De pagina’s zijn niet geïndexeerd.
In dit artikel gaan we het over het tweede punt hebben, wanneer je pagina’s dus niet zijn geïndexeerd.
Om nu te controleren of je met punt 1 of punt 2 te maken hebt kun je de volgende zoekopdracht uitvoeren in Google:
site:www.jedomeinnaam.nl
Je ziet dan in principe alle pagina’s die door Google zijn geïndexeerd. Wanneer hier niet de pagina’s tussen staan die jij er wel graag tussen zou willen hebben is er dus iets aan de hand.
Via Google Search Console
Een nog betere manier om te onderzoeken of een bepaalde pagina in de Google index staat is via Google Search Console.
Wanneer je bent ingelogd zie je bovenin een zoekbalk (alsmede aan de linkerkant):
Wanneer je hier de URL intypt die je wil controleren krijg je een uitgebreid resultaat van Google te zien.
Zie je een vergelijkbaar resultaat als hieronder? Dan is er werk aan de winkel.
Indien je pagina hier wel naar voren komt, maar niet wordt vertoond in de zoekresultaten heeft dit dus een andere reden. Deze reden wordt dan in Google Search Console aangegeven.
2. Reden 1: Google heeft je website of pagina nog niet gevonden
Zeker wanneer je website net in de lucht is kan dit een belangrijke reden zijn. Google heeft je website simpelweg nog niet gevonden. Hoewel Google tegenwoordig snel is met het vinden van nieuwe sites hoeft dit zeker niet altijd het geval te zijn.
Oplossing
Zorg ervoor dat Google je website kan vinden. De beste manier om dit te doen is door op een andere website (liefst eentje die veel door Google wordt bezocht) een link te plaatsen naar je nieuwe website. Google bezoekt de andere website, treft daar de link aan naar je website, volgt deze, en ontdekt jouw website.
Een andere manier is om je website of pagina te indexeren is door deze aan te melden bij Google (via wederom de Google Search Console). In de voorgaande afbeelding zag je namelijk ook de optie "Indexering aanvragen" staan. Het is tevens mogelijk om een sitemap te uploaden in Google Search Console.
Opmerking!
Zeker wanneer je website al even bestaat, en er een bepaalde pagina niet wordt geïndexeerd, is het af te raden om deze aan te melden via Google Search Console.
Een nieuwe pagina op je website, mits deze een interne link ontvangt, zou namelijk snel geïndexeerd moeten worden door Google. Wanneer dit niet het geval is kan dit een (belangrijke) oorzaak hebben.
Wanneer je deze dan handmatig aanmeldt, of via de sitemap laat ontdekken, is het lastig om het onderliggende probleem te ontdekken.Je weet dan namelijk simpelweg niet dat er een structurele oorzaak is.
3. Reden 2: Google kan niet bij alle pagina’s via de interne links
Google ziet bijvoorbeeld wel je homepage maar niet de dieperliggende pagina’s. Hier zit je meestal met een crawl/navigatie probleem. Google vindt wel je homepage maar komt niet tot de dieperliggende pagina’s.
Google vindt nieuwe pagina’s meestal door interne links (denk aan je navigatielinks). Maar wanneer bepaalde dieperliggende pagina’s niet juist worden gelinkt kan Google ze ook niet vinden.
Oplossing
Zorg ervoor dat je navigatiestructuur goed is opgebouwd. Verder is het verstandig om pagina’s zo dicht mogelijk bij het hoofddomein te houden, en ervoor te zorgen dat dieperliggende pagina’s ook vanaf bijvoorbeeld de homepage worden gelinkt.
Het principe wat Google hier hanteert is ook wel logisch. Als een pagina praktisch geen interne links heeft, dan zal die pagina ook wel niet zo belangrijk zijn. Anders had je hem toch wel gelinkt?
4. Reden 3: Je verbiedt Google om je pagina’s te indexeren
Misschien een open deur, maar wel eentje om in de gaten te houden. Binnen je robots.txt of binnen de pagina’s zelf kun je namelijk aangeven dat je bepaalde pagina’s niet in de index wil hebben (met de robots: noindex tag).
Zeker wanneer je een nieuwe website hebt laten maken (of een redesign) bestaat de kans dat je webbouwer tijdelijk noindex heeft gebruikt op de tijdelijke (staging) website. Dit is om te voorkomen dat Google ook deze testsite gaat indexeren.
Echter wanneer deze website dan live wordt gezet moet je er dus zeker aan denken om deze tag weg te halen.
Belangrijke opmerking aangaande noindex in robots.txt
Vanaf 1 september 2019 zal Google de nofollow in het robots.txt niet meer gebruiken. Wil je hier graag meer over leren, check dan dit artikel van Google zelf.
Oplossing
Controleer je robots.txt bestand en de pagina’s zelf op de “robots: noindex tag”.
Ook hier komt Google Search console weer van pas. Met deze robots.txt tool kun je testen wat er staat ingesteld.
5. Reden 4: Duplicate content (dubbele inhoud)
Tenslotte wil ik nog even het duplicate content verhaal aanhalen. Stel dat je bijvoorbeeld een webshop hebt. In deze webshop bevinden zich 1000 producten, en dus ook 1000 pagina’s. Een groot deel van die pagina’s heeft sterke overeenkomsten, immers de opbouw en een groot deel van de tekst is hetzelfde. Zeker wanneer je geen unieke productomschrijvingen plaatst kan zich dit voordoen.
Het probleem is dan dat Google deze pagina’s als duplicate content kan gaan zien. Google vindt dan dus dat deze pagina’s teveel op elkaar lijken en zegt dan eigenlijk: "waarom zou ik alle pagina’s moeten laten zien, ze zijn toch allemaal hetzelfde". Met het gevolg dat er maar eentje of een aantal worden vertoond.
Oplossing
Zorg ervoor dat elke pagina op je website voldoende unieke inhoud heeft! Twijfel je of jouw website last heeft van duplicate content? Lees dan zeker dit artikel op onze website: Duplicate content voorkomen en oplossen.
6. Conclusie
Het niet zien van je pagina’s in Google kan dus verschillende redenen hebben. De voornaamste zijn hierboven vermeld. Er bestaat ook nog een mogelijkheid dat je een penalty hebt gekregen van Google, en dat je website dus gestraft is.
Dit komt overigens niet (meer) zo heel vaak voor. Voordat je het daar achter gaat zoeken adviseer ik je dus om eerst de bovenstaande 4 redenen te onderzoeken.