Google heeft officieel aangekondigd dat de GoogleBot jouw website op een andere manier gaat crawlen in de toekomst. Tot nu toe werd er nog rekening gehouden met het Robots.txt bestand, dat deel is van de no-index richtlijn, maar dat gaat vanaf 1 september veranderen. Tot die tijd krijg je nog de kans om deze te veranderen en alternatieven te gaan gebruiken. Die zijn er wel gelukkig.
Waarom wordt Robots.txt niet meer ondersteund?
De reden dat de no-index Robots.txt-richtlijn niet meer wordt ondersteund is dat het eigenlijk nooit een officiële richtlijn is geweest. Echter ondersteunde Google deze richtlijn wel.
De officiële tweet van Google luidde dan ook:
“Vandaag nemen we afscheid van ongedocumenteerde en niet-ondersteunde regels in robots.txt. Als je op deze regels vertrouwt, lees dan meer over de opties in de blogpost. ”
“In het belang van het onderhouden van een gezond ecosysteem en de voorbereiding op mogelijke toekomstige opensource-releases, trekken we alle code die niet-ondersteunde en niet-gepubliceerde regels behandelt (zoals noindex) op 1 september 2019 af.”
Hoe kun je er dan toch voor zorgen dat bepaalde pagina’s niet worden geindexeerd?
Heb je dus toch pagina’s die je met no-index in jouw Robots.txt bestand opneemt? Dan is het handig om door te lezen. By the way, checken of je dat doet doe je door naar: www.jouwwebsite.nl/robots.txt te gaan. In de officiële blogpost van Google noemde zij vijf manieren om toch ervoor te zorgen dat er een soort no-follow manier is op jouw website:
Noindex in robots-meta tags
Het is mogelijk om in de HTML als ook in de http-antwoordheaders van de desbetreffende pagina een meta-tag toe te voegen om deze pagina niet te laten indexeren. Dit is de meest effectieve manier om URL’s uit de index te verwijderen volgens Google.
404 en 410 http-statuscodes
Dit zijn beide foutmeldingen die aangeven dat een pagina is verwijderd (en niet wordt redirect naar een andere pagina). Hierdoor trekt Google ze uit haar index. Dat resulteert in dat je niet meer gevonden wordt op die desbetreffende pagina. Erna zou je hem weer aan kunnen zetten.
Beveiligde pagina met een wachtwoord
In de meeste gevallen wordt content dat achter een beveiligde inlog zit, niet geïndexeerd. Dat komt doordat Google hier niet bij komt natuurlijk. Dit ligt echter anders als je abonnementen en/of betalingen aanbiedt
Google Search Console URL-tool
Binnen Google Search Console heb je een onderdeel waar je URL’s kunt verwijderen. Dat is een vrij snelle en eenvoudige methode om tijdelijk een URL uit de zoekresultaten van Google te verwijderen. Let er wel op dat als je dit definitief wilt doen, je gebruik moet maken van bovenstaande opties.
Ik hoop dat je met bovenstaande tips uit de voeten kan. Doe dit voor 1 september, anders ben je te laat!