Le 28 mars 2007, Priyank Garg, Product Manager de
Yahoo! Search, a annoncé que le robot chargé de recenser les ressources en texte intégral sur le web allait changer d'adresse.
Jusqu'à maintenant,
Yahoo! Slurp était associé au domaine inktomisearch.com, en référence au moteur
Inktomi qui avait été racheté par
Yahoo!. Désormais, le robot - qui ne change pas de nom - va être relié à une autre adresse IP qui sera associée au domaine crawl.yahoo.net.
Aucune conséquence directe, donc, pour les webmasters sur la question du fichier robots.txt utilisé notamment pour interdire l'accès au robot sur certaines parties de son site web.
Voir l'annonce :
http://www.ysearchblog.com/2007/03/28/yahoo-search-crawler-slurp-is...