Spider

door | 17 juni 2013

Wat is een spider? Je hebt vast wel eens gehoord van de term ‚Äėspider’. Maar wat is dit nu eigenlijk? Je mag de term in dit geval een beetje letterlijk nemen, gezien dit woord in het Nederlands spin betekent. De spider is de spin die namens Google het wereldwijde web doorkruipt en de pagina’s indexeert. Deze spider wordt ook wel crawler of webcrawler genoemd. De spiders zorgen er dus eigenlijk voor dat alle pagina’s op het internet in kaart worden gebracht, zodat deze zo snel mogelijk te vinden zijn wanneer iemand een bepaalde zoekopdracht invoert.

Hoe werkt een spider?

De spider begint als het ware met een lange lijst van URL’s. Deze worden √©√©n voor √©√©n bezocht. Als een spider op een pagina een interne link tegenkomt (een link naar een andere pagina van dezelfde website), dan worden deze URL’s aan de lijst toegevoegd. De spider heeft op deze manier dus toegang tot bijna alle publieke pagina’s op internet. Het is niet zo dat een spider √©√©n keer op je pagina komt en daarna nooit meer, vaak komen ze juist regelmatig langs. Zo blijft de ‚Äėverzameling’ ge√Įndexeerde pagina’s zo actueel mogelijk.

Instructies geven aan de spider

Het is mogelijk om bepaalde instructies door te geven aan de spider van Google. Dit doe je door een robots.txt tekstbestand aan te maken waarin je met een bepaalde code een instructie geeft. Meestal gaat dit om codes waarmee je bij de spider aangeeft dat je bepaalde pagina’s niet ge√Įndexeerd wil hebben, dat bepaalde pagina’s niet lokaal gearchiveerd moeten worden of wanneer de links op de pagina’s niet gevolgd moeten worden.

De redenen voor het doorgeven van deze instructies kunnen zeer verschillend zijn. Een noindex instructie kan bijvoorbeeld worden toegepast om irrelevante pagina’s niet te laten indexeren. Dit kan om privacyredenen gaan, of om pagina’s waarvan het niet nodig is dat ze hoger scoren dan andere pagina’s op je website (bijvoorbeeld de login pagina, of de algemene voorwaarden). De motivatie kan dus voor iedereen verschillend zijn. Zo kun je de spider rustig zijn gang laten gaan. maar ook zorgen dat je website op een voor jou gunstige manier ge√Įndexeerd wordt.

Nader kennismaken?

Wil je graag meer informatie over onze dienstverlening en weten wat wij voor jouw showroom kunnen betekenen? Vul dan het contactformulier in en we nemen binnen één werkdag contact met je op. Bellen mag uiteraard ook: 085-85050008.

0 reacties