I bot dei siti web

Quanti hanno un sito internet e fanno un minimo di controllo sul traffico generato, si saranno probabilmente accorti dei passaggi di vari bot sui siti. I bot sono dei sistemi automatici che vanno a leggere e quindi memorizzare i siti web, al fine di fornire risultati adeguati ai motori di ricerca.
Solitamente sono quattro i bot in circolazione, con cadenze fisse. Però da metà giugno in poi, molti siti sono stati controllati da almeno otto bot differenti, con una frequenza assai strana di una settimana o cinque giorni!
Ormai penso di averli individuati: sono quello di Microsoft (arriva in due modi diversi ma scorre il sito allo stesso modo) e un paio nuovi, che arrivano dall'Oriente.
Per il motore di ricerca di Microsoft, vi lascio il link per testarlo qui.
Se invece volete vedere i servizi di news automatici, sempre di Microsoft, andate qui. Questa mi sembra un beta già avanzata.