Googlebot is de naam die gegeven wordt aan de 'spider' of 'bot' of 'webcrawlersoftware' van Google die websites crawlt. Crawlen gebeurt door spiders/bots die het wereldwijde web op een geautomatiseerde en methodische manier bezoeken en doorbladeren.
Een bot is een computerprogramma dat automatische handelingen verricht.
Dankzij de Googlebot kan Google een index maken waarop de Google-zoekmachine kan werken. Die index bestaat uit alle pagina's die Google gecrawld heeft én als positief bevonden heeft om te mogen verschijnen in de zoekmachine.
Google heeft zowel een desktopcrawler en een mobiele crawler. De mobiele crawler kan gezien worden als 'dominant' en belangrijker wegens mobile-first indexing.
Naast de bots van Google bestaan er nog duizenden andere bots. Zo heeft iedere zoekmachine een eigen bot (Yahoo, Bing, Yandex...), maar ook veel softwareprogramma's (SEMrush, Ahrefs, Screaming Frog).
Als websitebeheerder kan je bepalen tot welke pagina's en content bots zoals die van Google al dan niet toegang krijgen. Dit bepaal je via je robots.txt bestand.