Google lancia un nuovo crawler chiamato GoogleOther, utilizzato dal team di Big G per scansionare il web pubblico
Google, in questo periodo, è in continuo sviluppo, per garantire ai propri utenti un’esperienza sempre migliore sul suo motore di ricerca e quindi sulle pagine web che vengono “proposte” da Big G in serp. Per consentire un migliore lavoro di crawling a Googlebot, l’azienda annuncia di aver lanciato un altro bot chamato GoogleOther, il cui obiettivo è dare manforte all’altro bot per scansionare il web pubblico, e quindi le pagine dei siti internet che si trovano all’interno del web.
Il lancio di questo nuovo web crawler è stato dichiarato da Gary Illyes di Google a mezzo LinkedIn e la notizia è apparsa su tutti i siti web specializzati, tra i quali Search Engine Land.
Cosa sappiamo di GoogleOther?
Di lui non è chiaro se sia legato a Google Bard oppure no, ma ciò che conosciamo di questo bot è stato descritto dallo stesso portavoce dell’azienda via social e attraverso la pagina di Google (che ha aggiunto GoogleOther alla sua documentazione sui crawler):
“Crawler generico che può essere utilizzato da vari team di prodotto per recuperare contenuti accessibili pubblicamente dai siti. Ad esempio, può essere utilizzato per ricerche per indicizzazione una tantum per ricerca e sviluppo interni. Il crawler GoogleOther obbedisce sempre alle regole del file robots.txt per il token dell’agente utente e l’agente utente globale (*) e utilizza gli stessi intervalli IP di Googlebot.”
Perché il nuovo bot? Questo nuovo bot “alla fine toglierà un po’ di tensione a Googlebot”, ha spiegato Illyes:
“Mentre ottimizziamo come e cosa esegue la scansione di Googlebot, una cosa che volevamo garantire è che i processi di scansione di Googlebot vengano utilizzati solo internamente per creare l’indice utilizzato dalla Ricerca. Per questo abbiamo aggiunto un nuovo crawler, GoogleOther, che sostituirà alcuni degli altri lavori di Googlebot come i crawler di ricerca e sviluppo per liberare parte della capacità di crawling per Googlebot”.
Google lo utilizzerà per scopi interni. Non sappiamo nulla di più, e attendiamo sviluppi in merito a questo nuovo bot, che consigliamo di non bloccare. Non si sa mai.
