Bots en crawlers: bepaal het bannergedrag en de toestemmingsregistraties

Overzicht

Met de instellingen Bots & crawlers bepaal je hoe de Pandectes-toestemmingsbanner zich gedraagt voor geautomatiseerde bezoekers, zoals zoekcrawlers, SEO-tools, scanners, monitoringdiensten en andere bots.

Je kunt een geautomatiseerde bezoeker de normale toestemmingsflow laten volgen, of de banner verbergen en een verleende of geweigerde toestemmingsstatus toepassen zonder een toestemmingsregistratie aan te maken.

Deze functie is beschikbaar op het abonnement Enterprise.

Hoe het werkt

Standaard volgen geautomatiseerde bezoekers de normale bannerflow, net als andere bezoekers van de storefront.

Als een bot de banner ziet en ermee communiceert, kan zijn keuze in het toestemmingslog worden vastgelegd. Herhaalde geautomatiseerde interacties kunnen daardoor de statistieken beïnvloeden die uit die toestemmingsregistraties worden berekend.

Stel dat geautomatiseerde bezoeken consequent accepteren:

Dit voorbeeld is illustratief. Het effect hangt af van hoe geautomatiseerde bezoekers met je storefront omgaan.

Pandectes biedt drie mogelijke gedragingen:

Belangrijke punten

• Een getoonde banner volgt de normale flow. Als de geautomatiseerde bezoeker een toestemmingskeuze maakt, wordt die interactie behandeld als elke andere interactie met de banner.
• Beide verborgen modi houden het geautomatiseerde bezoek buiten de toestemmingsregistraties.
• Treat as consent given is handig wanneer een geautomatiseerde tool de storefront moet inspecteren met toestemmingsgebonden bronnen ingeschakeld.
• Treat as consent denied is handig wanneer een tool de storefront moet inspecteren in de staat vóór toestemming of in de geweigerde staat.
• De algemene instelling Known bots & crawlers geldt voor bots die Pandectes herkent.
• Specific bots kan het algemene gedrag overschrijven voor overeenkomende user agents.
• Bestaande toestemmingsregistraties worden niet met terugwerkende kracht gewijzigd wanneer je deze instellingen aanpast.
• Deze instellingen bepalen het gedrag van de Pandectes-banner en de toestemming. Ze voorkomen niet dat een crawler je website opvraagt.

Bekende bots en crawlers configureren

Open:

Cookie banner > Advanced > Bots & crawlers

Schakel onder Known bots & crawlers het volgende in:

De banner verbergen en behandelen als toestemming gegeven

Wanneer dit is ingeschakeld, past Pandectes dit gedrag toe op geautomatiseerde bezoekers die het herkent:

• De banner wordt niet weergegeven.
• Het bezoek wordt behandeld alsof toestemming is verleend voor het gedrag dat Pandectes beheert.
• Voor dat geautomatiseerde bezoek wordt geen toestemmingsregistratie aangemaakt.

Gebruik See the list in de app om de bots en crawlers te bekijken die Pandectes momenteel herkent. Door de lijst in de applicatie te houden, hoef je niet te vertrouwen op een statische documentatielijst die mogelijk verouderd raakt.

Als deze optie is uitgeschakeld en geen specifieke regel van toepassing is, volgt de geautomatiseerde bezoeker de normale bannerflow.

Specifieke bots configureren

In de sectie Specific bots definieer je het gedrag voor afzonderlijke user-agentpatronen.

Voeg één waarde per regel toe onder een van deze groepen:

• Show the banner
• Hide and treat as consent given
• Hide and treat as consent denied

Specifieke items overschrijven het algemene gedrag voor bekende bots wanneer ze overeenkomen.

Bijvoorbeeld:

• Voeg een testcrawler toe aan Show the banner wanneer je de normale toestemmingservaring wilt controleren.
• Voeg een cookie-scanningtool toe aan Hide and treat as consent given wanneer die toestemmingsgebonden services moet kunnen uitvoeren.
• Voeg een auditingtool toe aan Hide and treat as consent denied wanneer je wilt dat die de storefront vóór toestemming inspecteert.

Hoe user-agentmatching werkt

Specifieke items worden vergeleken met de user-agentstring van de bezoeker.

• Voer per regel één patroon in.
• Overeenkomsten kunnen overal in de user-agentstring voorkomen.
• Vergelijking is hoofdletterongevoelig.
• Gebruik voor consistentie kleine letters.

Een item zoals googlebot kan bijvoorbeeld een user agent matchen die die tekst bevat, zonder dat je de volledige, browserachtige user-agentwaarde hoeft in te voeren.

Houd patronen zo specifiek mogelijk. Algemene browsertermen zoals mozilla, chrome, safari of webkit kunnen ook voorkomen in de user agents van gewone winkelbezoekers en daardoor echte bezoekers matchen.

Als Pandectes een item als ongewoon breed markeert, controleer dan het patroon voordat je het gebruikt.

De functie gebruiken met cookie-scanners

Een cookie- of storage-scanner kan alleen bronnen zien die tijdens zijn bezoek daadwerkelijk worden geladen.

Als door toestemming gestuurde scripts uitgeschakeld blijven, bereikt de scanner mogelijk niet alles wat na toestemming normaal zou laden. Door die scanner aan Hide and treat as consent given toe te wijzen, kan de storefront draaien in de status met verleende toestemming, zonder dat er een toestemmingsbewijs voor de scanner wordt aangemaakt.

Dit garandeert niet dat elke scanner elke cookie of elk storage-item vindt. Resultaten kunnen ook afhangen van de JavaScript-ondersteuning van de scanner, de paginadekking, authenticatie, het gedrag van de storefront en andere technische omstandigheden.

De functie gebruiken voor audits van de geblokkeerde staat

Om te controleren hoe de storefront zich gedraagt voordat optionele toestemming wordt verleend, voeg je de auditing-user agent toe onder:

Hide and treat as consent denied

Pandectes houdt het door toestemming gestuurde gedrag dan in de geweigerde status, terwijl de banner voor die geautomatiseerde bezoeker wordt verborgen.

Dit kan helpen controleren of integraties en scripts die door je toestemmingsconfiguratie worden beheerd zich vóór toestemming naar verwachting gedragen.

Dit is een technische teststatus en mag niet worden beschouwd als een vaststelling dat de winkel aan een bepaalde wettelijke eis voldoet.

Blokkeert dit crawlers van de winkel?

Nee.

De functie Bots & crawlers bepaalt welke toestemmingsstatus Pandectes toepast op een geautomatiseerd bezoek. Hij voorkomt niet dat de crawler je pagina's opvraagt en past je robots.txt-configuratie niet aan.

Crawlertoegang, indexeringsinstructies, firewallregels en CDN-botbeheer zijn aparte configuraties. Google documenteert bijvoorbeeld robots.txt als een mechanisme om crawlinstructies te geven aan ondersteunde crawlers. ([Google for Developers][1])

Is user-agentmatching bewijs dat een bezoeker echt die bot is?

Nee.

Een user-agentwaarde geeft aan wat de aanvrager zegt te zijn, maar het is geen authenticatie. Google merkt expliciet op dat user-agentstrings van crawlers kunnen worden vervalst, en biedt methoden voor verificatie via IP-adres en reverse DNS wanneer de echte identiteit van een Google-crawler moet worden bevestigd. ([Google for Developers][2])

Gebruik de Pandectes-instelling voor het gedrag van de toestemmingsbanner. Als geverifieerde crawleridentiteit belangrijk is voor beveiliging of toegangscontrole, regel dat dan apart op server-, CDN- of infrastructuurniveau.

Bepaalt het behandelen van een bot als verleende toestemming of tracking wettelijk is toegestaan?

Nee.

Deze instelling bepaalt de technische toestemmingsstatus die Pandectes toepast op een geautomatiseerd verzoek. Ze bepaalt niet of een bepaald verzoek, script of derde dienst aan privacy- of andere wettelijke eisen onderhevig is.

Controleer je storefrontconfiguratie en de toepasselijke eisen apart.

Bijgewerkt op: 27/10/2026