* Studio De Création Graphique Ville-la-Grand
***Web2007 est un bureau indépendant situé à Genève et a l'habitude de travailler pour des entreprises PARTOUT en France et en Europe
Studio De Création Graphique Ville-la-Grand
Article:
Un robot d'indexation (ou littéralement araignée du Web ; en anglais web crawler ou web spider) se présente comme un logiciel qui sillonne automatiquement le Web. Il est souvent conçu pour collecter les ressources (pages Web, images, vidéos, documents Word, PDF ou PostScript, etc.), afin de permettre à un moteur de recherche de les indexer. Certains robots malveillants (spambots) sont utilisés pour archiver les ressources ou collecter des adresses électroniques auxquelles envoyer des courriels car fonctionnant sur le même principe. En , depuis 2013, crawler a pris la place du mot collecteur1. Il existe aussi des collecteurs analysant finement les contenus afin de ne ramener qu'une partie de leur information. Dès les années 1990, il a ainsi vécu des comparateurs de prix automatiques, puis des comparateurs performance/prix pour les microprocesseurs2. Des frameworks tout fondés comme Scrapy existent pour écrire de tels robots Pour indexer de nouvelles ressources, un robot procède en suivant de manière récursive les hyperliens disponibles à partir d'une page pivot. Par la suite, il est favorable de mémoriser l'URL de chaque ressource récupérée et d'adapter la fréquence des visites à la fréquence observée de mise à jour de la ressource. Malgré cela, si le robot respecte les règles du fichier robots.txt, alors de nombreuses ressources empêchent cette exploration récursive. Cet ensemble de ressources inexploré est appelé Web profond ou Web invisible. Un fichier d'exclusion (robots.txt) classé dans la racine d'un site Web permet de donner aux robots une liste de ressources à ignorer. Cette convention permet de réduire la charge du serveur Web et d'éviter des ressources sans intérêt. Toutefois, certains robots ne considèrent pas de ce fichier. Deux caractéristiques du Web obstruent le travail du robot d'indexation : le volume de données et la bande passante. Les capacités de traitement et de stockage des ordinateurs ainsi que le nombre d'internautes ayant fortement amélioré, cela lié au développement d'outils de maintenance de pages de type Web 2.0 permettant à n'importe qui de mettre facilement en ligne des contenus, le nombre et la complexité des pages et objets multimédia disponibles, et leur modification, s'est considérablement accru dans la première décennie du xxie siècle. Le débit autorisé par la bande passante n'ayant pas connu une progression équivalente, le ème est de traiter un volume toujours croissant d'information avec un débit relativement restreint. Les robots ont donc besoin de donner des priorités à leurs téléchargements. Le Web 3.0 décrit des technologies avancées et de nouveaux principes de recherche sur Internet qui devront s'appuyer en partie sur les normes du Web sémantique. Les robots du Web 3.0 exploiteront des méthodes d'indexation engageant des associations personne-machine plus intelligentes que celles qui sont pratiquées aujourd'hui.
Si besoin, Web2007 peut se déplacer dans toute la région Rhones-Alpes.
Pour info, j'habite personnellement à Gaillard-Haute Savoie et mon bureau est juste à coté à Genève-Suisse.