Bots en crawlers: bepaal het bannergedrag en de toestemmingsregistraties

Overzicht

Met de instellingen onder Bots & crawlers bepaal je hoe de Pandectes-toestemmingsbanner zich gedraagt voor geautomatiseerde bezoekers, zoals zoekcrawlers, SEO-tools, scanners, monitoringservices en andere bots.

Je kunt een geautomatiseerde bezoeker de normale toestemmingsflow laten volgen, of de banner verbergen en een toegestane of geweigerde toestemmingsstatus toepassen zonder een toestemmingsregistratie aan te maken.

Deze functie is beschikbaar in het Enterprise-abonnement.

Hoe het werkt

Standaard volgen geautomatiseerde bezoekers de gewone bannerflow, net als andere storefrontbezoekers.

Als een bot de banner ziet en ermee werkt, kan zijn keuze worden vastgelegd in het toestemmingslogboek. Herhaalde geautomatiseerde interacties kunnen daarom van invloed zijn op statistieken die op basis van die toestemmingsregistraties worden berekend.

Bijvoorbeeld, als geautomatiseerde bezoeken consequent accepteren:

Dit voorbeeld dient ter illustratie. Het effect hangt af van hoe geautomatiseerde bezoekers met je storefront werken.

Pandectes biedt drie mogelijke gedragingen:

Belangrijke punten om te begrijpen

• Het tonen van de banner gebruikt de reguliere flow. Als de geautomatiseerde bezoeker een toestemmingskeuze maakt, wordt die interactie behandeld als elke andere bannerinteractie.
• Beide verborgen modi houden het geautomatiseerde bezoek buiten de toestemmingsregistraties.
• Treat as consent given is handig wanneer een geautomatiseerde tool de storefront moet inspecteren met door toestemming beheerde resources ingeschakeld.
• Treat as consent denied is handig wanneer een tool de storefront moet inspecteren in de status vóór toestemming of de geweigerde status.
• De algemene instelling Known bots & crawlers is van toepassing op bots die Pandectes herkent.
• Specific bots kunnen het algemene gedrag overschrijven voor overeenkomende user agents.
• Bestaande toestemmingsregistraties worden niet met terugwerkende kracht gewijzigd wanneer je deze instellingen bijwerkt.
• Deze instellingen bepalen het gedrag van de Pandectes-banner en -toestemming. Ze blokkeren een crawler niet om je website op te vragen.

Bekende bots en crawlers configureren

Open:

Cookie banner > Advanced > Bots & crawlers

Schakel onder Known bots & crawlers het volgende in:

Hide the banner and treat as consent given

Wanneer dit is ingeschakeld, past Pandectes dit gedrag toe op geautomatiseerde bezoekers die het herkent:

• De banner wordt niet weergegeven.
• Het bezoek wordt behandeld alsof toestemming is gegeven voor door Pandectes beheerd gedrag.
• Er wordt geen toestemmingsregistratie aangemaakt voor dat geautomatiseerde bezoek.

Gebruik See the list in de app om de bots en crawlers te bekijken die Pandectes momenteel herkent. Door de lijst in de applicatie te houden, hoef je niet te vertrouwen op een statische documentatielijst die verouderd kan raken.

Als deze optie is uitgeschakeld en er geen specifieke regel van toepassing is, volgt de geautomatiseerde bezoeker de reguliere bannerflow.

Specifieke bots configureren

In de sectie Specific bots kun je gedrag definiëren voor afzonderlijke user-agentpatronen.

Voeg één waarde per regel toe onder een van deze groepen:

• Show the banner
• Hide and treat as consent given
• Hide and treat as consent denied

Specifieke invoer overschrijft het algemene gedrag voor bekende bots wanneer er een overeenkomst is.

Bijvoorbeeld:

• Voeg een testcrawler toe aan Show the banner wanneer je de normale toestemmingservaring wilt inspecteren.
• Voeg een cookiescantool toe aan Hide and treat as consent given wanneer die door toestemming beheerde services moet laten uitvoeren.
• Voeg een audittool toe aan Hide and treat as consent denied wanneer je wilt dat die de storefront inspecteert vóór toestemming.

Hoe user-agent-matching werkt

Specifieke invoer wordt vergeleken met de user-agentstring van de bezoeker.

• Voer één patroon per regel in.
• De overeenkomst kan overal in de user-agentstring voorkomen.
• De matching is niet hoofdlettergevoelig.
• Gebruik voor de consistentie invoer in kleine letters.

Zo kan een invoer als googlebot overeenkomen met een user agent die die tekst bevat, zonder dat je de volledige user-agentwaarde in browserstijl hoeft in te voeren.

Houd patronen zo specifiek mogelijk. Algemene browsertermen zoals mozilla, chrome, safari of webkit kunnen ook voorkomen in de user agents van gewone shoppers en kunnen dus overeenkomen met echte bezoekers.

Als Pandectes een invoer markeert als ongebruikelijk breed, controleer het patroon dan voordat je het gebruikt.

De functie gebruiken met cookiescanners

Een cookie- of opslagscanner kan alleen resources waarnemen die tijdens het bezoek daadwerkelijk worden geladen.

Als door toestemming beheerde scripts uitgeschakeld blijven, bereikt de scanner mogelijk niet alles wat normaal na toestemming zou laden. Door die scanner toe te wijzen aan Hide and treat as consent given kan de storefront draaien in de status met verleende toestemming, zonder een toestemmingsbewijs voor de scanner aan te maken.

Dit garandeert niet dat elke scanner elke cookie of elk opslagitem vindt. Resultaten kunnen ook afhangen van de JavaScript-ondersteuning van de scanner, paginadekking, authenticatie, het gedrag van de storefront en andere technische omstandigheden.

De functie gebruiken voor audits van de geblokkeerde status

Om te inspecteren hoe de storefront zich gedraagt voordat optionele toestemming is gegeven, voeg je de user agent van de audit toe onder:

Hide and treat as consent denied

Pandectes houdt het door toestemming beheerde gedrag dan in de geweigerde status, terwijl de banner voor die geautomatiseerde bezoeker wordt verborgen.

Dit kan helpen bij het controleren of integraties en scripts die door je toestemmingsconfiguratie worden beheerd zich vóór toestemming gedragen zoals verwacht.

Het is een technische teststatus en mag niet worden beschouwd als een vaststelling dat de winkel aan een bepaalde wettelijke vereiste voldoet.

Blokkeert dit crawlers voor de winkel?

Nee.

De functie Bots & crawlers bepaalt welke toestemmingsstatus Pandectes toepast op een geautomatiseerd bezoek. Ze voorkomt niet dat de crawler je pagina's opvraagt en bewerkt je robots.txt-configuratie niet.

Crawlertoegang, indexeringsinstructies, firewallregels en bot-instellingen van je CDN zijn aparte configuraties. Google documenteert bijvoorbeeld robots.txt als mechanisme om crawlinstructies te geven aan ondersteunde crawlers. ([Google for Developers][1])

Is user-agent-matching een bewijs dat een bezoeker echt die bot is?

Nee.

Een user-agentwaarde geeft aan wat de aanvrager beweert te zijn, maar is geen authenticatie. Google merkt uitdrukkelijk op dat user-agentstrings van crawlers kunnen worden vervalst en biedt verificatiemethoden via IP-adres en reverse DNS voor wanneer de echte identiteit van een Google-crawler moet worden bevestigd. ([Google for Developers][2])

Gebruik de Pandectes-instelling voor het gedrag van de toestemmingsbanner. Als geverifieerde crawleridentiteit belangrijk is voor beveiliging of toegangsbeheer, regel dat dan afzonderlijk op server-, CDN- of infrastructuurniveau.

Bepaalt het behandelen van een bot als toestemming gegeven of tracking wettelijk is toegestaan?

Nee.

Deze instelling definieert de technische toestemmingsstatus die Pandectes op een geautomatiseerd verzoek toepast. Ze bepaalt niet of een bepaald verzoek, script of service van derden onder privacywetgeving of andere wettelijke vereisten valt.

Controleer de configuratie van je storefront en de toepasselijke vereisten afzonderlijk.

Bijgewerkt op: 19/10/2026