robots.txt

Antwoord
robots.txt is een tekstbestand dat webmasters gebruiken om zoekmachines te instrueren welke delen van hun website ze wel of niet mogen crawlen. Het bestand bevindt zich in de hoofdmap van een website en bevat regels die aangeven welke gebruikersagenten (de bots van zoekmachines) toegang hebben tot bepaalde pagina's of secties. Een typisch robots.txt-bestand kan er als volgt uitzien: ``` User-agent: * Disallow: /privé/ Disallow: /temp/ Allow: /openbaar/ ``` In dit voorbeeld: - `User-agent: *` betekent dat de regels van toepassing zijn op alle zoekmachinebots. - `Disallow: /privé/` geeft aan dat de inhoud van de map /privé/ niet gecrawld mag worden. - `Disallow: /temp/` wijst ook deze map af. - `Allow: /openbaar/` staat crawlen van de inhoud in de /openbaar/ map toe. Het is belangrijk om robots.txt correct in te stellen, omdat een foutieve configuratie kan leiden tot ongewenste blokkering van belangrijke pagina's of juist toegang geven tot gevoelige informatie.

Hoeveel is 4 + 5?