Wo „GoogleBot“ draufsteht, muss noch lange kein GoogleBot drin sein. Genau dasselbe gilt natürlich für die Crawler von Bing.
Du willst sicher gehen, dass du nur die echten Bing- bzw. GoogleBots auch so behandelst? Dann kannst du sie einfach über deren offizielle IP-Ranges verifizieren.
- GoogleBot IP-Ranges: https://developers.google.com/search/apis/ipranges/googlebot.json
- BingBot IP-Ranges: https://www.bing.com/toolbox/bingbot.json