Woozweb - observatoire du web et monitoring gratuit - F.A.Q

Woozweb est à la fois un observatoire du web et un service de monitoring. En tant qu'observatoire du web, Woozweb recueille une grande quantité d'information concernant les sites significatifs de l'internet français, les analyse et les met à disposition des personnes intéressées.

Woozweb s'adresse à différents groupes d'utilisateurs. En tant qu'observatoire, il peut intéresser tous les professionnels du web (prestataires, exploitants, webmasters, journalistes, …), désireux par exemple de connaître la part de marché des différents service de mesure d'audience, ou des différents environnements techniques, ou bien s'intéressant aux événements significatifs intervenus sur les grands sites français.

En tant que service haut de gamme de monitoring gratuit, Woozweb s'adresse aussi aux webmasters ou responsables de sites soucieux de suivre la qualité de service sur leur propre site, ou bien sur des sites comparables au leur, et également d'être avertis au moindre problème.

La richesse des informations fournies par Woozweb en fait une source d'information qui n'a aucun équivalent aujourd'hui.

Les sites publics sont des sites importants dans le paysage Internet, soit par leur audience, soit par leur notoriété. Ils sont sous monitoring et les informations recueillies sont mises à libre disposition des internautes sur Woozweb.com.

Woozweb réalise deux types de monitoring : un monitoring haute-fréquence et un monitoring basse fréquence. Le monitoring haute fréquence est opéré à intervalle de 15 minutes. Le monitoring basse fréquence est opéré de manière hebdomadaire.

La sonde de monitoring haute fréquence (HF) est un robot, c'est à dire un programme, qui interroge, toutes les 15 minutes, l'url spécifiée pour le site et obtient la page correspondante, généralement une page Html.

La sonde HF ne télécharge aucun des objets inclus dans la page : ni images, ni feuilles CSS, ni objets flash, … uniquement le corps de page Html. Il ne fournit donc pas une représentation complète de la qualité de service perçue par les internautes. C'est en revanche ce que fournit le monitoring basse fréquence.

Woozweb utilise deux sondes HF différentes, sur des serveurs différents, dans des datacenters différents, sur des continents différents, pour assurer le monitoring des sites. L'une des sondes est située en Europe, l'autre en Amérique. Chacune des sondes interroge les sites une fois toutes les 15 minutes. Il y a donc deux relevés de disponibilité et de temps de réponse pour chaque tranche de 15 minutes. Woozweb ne considère qu'un site est indisponible que si les deux sondes ont reporté une erreur. Il est peu probable - mais pas impossible toutefois - qu'une erreur signalée par Woozweb ne corresponde pas à un vrai problème sur le site.

Pour ce qui est des temps de réponse, Woozweb considère que le temps de réponse consolidé est le minimum des deux temps de réponse relevés.

Woozweb vous présente en premier lieu les courbes de relevés consolidés, mais vous permet de consulter les relevés séparés pour la sonde Europe et pour la sonde Amérique.

Le monitoring basse fréquence est réalisé par un robot, un programme que l'on appelle " sonde LF ", qui interroge les sites une fois par semaine.

Il ne vise donc pas à analyser la qualité de service, mais à obtenir de l'information plus approfondie sur les sites.

La sonde LF intègre un navigateur web complet, y compris tous les plugins couramment utilisés. Elle charge la page web exactement comme le ferait le navigateur d'un internaute ordinaire. Les instructions javascript incluse dans la page sont exécutées et tous les objets inclus dans la page sont donc téléchargés : images, feuilles css, fichiers javascript, objets flash, vidéos, sons. Les objets provenant d'autres serveurs sont également téléchargés. Il peut s'agir par exemple des encarts publicitaires, ou bien des services de mesure d'audience.

En même temps que la page et tous ses composants sont téléchargés, la sonde LF relève l'identification de chacun des composants, sa nature, son poids, et toute la chronologie du téléchargement.

La chronologie du chargement de page est une information extrêmement précieuse.

En premier lieu, elle est tout à fait représentative de l'expérience vécue par un internaute naviguant sur le site. En effet il est courant qu'une page web incluent des objets dont le chargement est plus lent, et parfois bloque réellement l'affichage de l'ensemble de la page. Ce genre de phénomène sont parfaitement identifiable au moyen du chronogramme de téléchargement. Pour le responsable du site, c'est un donc un outil précieux d'analyse et d'optimisation.

Les outils de mesure d'audience externalisés utilisent des petits scripts inclus dans le pages web, qui provoquent l'envoi d'une requête vers le serveur du prestataire lorsque la page est affichée. Ces appels sont détectés par la sonde LF, qui identifie ainsi le prestataire concerné. Certains sites utilisent deux prestataires afin de croiser et confirmer les statistiques. Woozweb peut détecter les deux prestataires.

A noter que pour économiser un peu de bande passante, certains prestataires ont un script qui n'invoque leur serveur qu'une fois sur 2, une fois sur 5, une fois sur 10. Le script tire au sort, avec la probabilité prévue, s'il doit invoquer son serveur ou non. Au niveau du serveur, les chiffres relevés sont alors multiplié par le coefficient approprié.

Cela rend la détection un peu plus difficile car une page qui aura été 'taguée' pour le relevé d'audience de tel prestataire n'invoquera pas le prestataire de manière systématique. En conséquence, Woozweb applique une sorte de lissage aux relevés : si tel prestataire a été détecté au moins une fois dans les 2 derniers mois écoulés, c'est à dire donc sur 8 relevés), Woozweb considère que le site utilise ce prestataire pour la mesure d'audience.

Les principaux prestataires sur le marché français sont Google Analytics, Xiti et eStats. Leurs parts relatives, telles que relevées par Woozweb, peuvent être consultées dans la rubrique " statistiques transverses ".

En même temps qu'ils renvoient une page Html, les serveurs http envoient quelques informations qui constituent l'entête http. La quantité d'information fournie dans cette entête est très variable, mais on y trouve le plus souvent au minimum l'indication du système d'exploitation (Unix, Windows, …), du serveur http (Apache, IIS, …), et des environnement d'exécution (PHP, Java, …). C'est cette information qui est relevée par Woozweb et analysée.

Faire un benchmark, c'est comparer ses performances à celles de ses semblables. Woozweb permet de comparer un indicateur pour un site particulier, avec la répartition des valeurs de cet indicateur pour l'ensemble des sites.

Prenons pour exemple le poids total des pages, tous composants compris. Les informations collectées sur tous les sites publics que surveille Woozweb nous permettent de dire que 11% des sites ont un poids total inférieur à 50 KO, 14% des sites ont un poids total compris entre 50 et 100 KO, etc… . Cela permet de tracer une courbe cumulée présentant en abscisse les poids de page, de 0 à 500 KO, et en ordonnée le pourcentage de sites qui ont un poids inférieur à la valeur d'abscisse. Ainsi par exemple, on peut dire que 70% des sites on un poids de page inférieur à 300 KO, et 30% donc ont un poids de page supérieur.

Sur cette base, faire un benchmark, c'est positionner un site particulier sur cette courbe : si son poids de page est de 300 KO, on indiquera que " 70% des sites font mieux ". Bien sûr, c'est considérer que c'est faire mieux que de faire plus léger !

Woozweb offre une manne d'information librement accessibles, sans inscription : toute l'information relevant de l'observatoire du web, c'est à dire le monitoring dit 'public', portant sur environ 10 000 des plus grands sites français.

En vous inscrivant vous pouvez demander le même niveau d'information sur des sites qui ne figurent pas dans le monitoring public, des sites qui peut-être n'intéressent que vous-même. Vous pourrez indiquer l'URL du site, que ce soit sa page d'accueil ou n'importe quelle page intérieure spécifique. Vous pourrez revenir sur le site Woozweb pour consulter les résultats et l'historique du monitoring. Vous pourrez également demander à être alerté s'il survient un incident sur l'un de vos sites privés.

En vous inscrivant, vous pouvez également gérer votre liste de favoris parmi les sites publics.

Vous pouvez indiquer jusqu'à 5 sites à surveiller.

Vous pouvez avoir jusqu'à 20 sites publics en favoris.

Lorsque vous inscrivez un site pour un monitoring privé, il va être sous monitoring jusqu'à ce que vous le retiriez. Toutefois, si vous ne rendez pas visite au site woozweb.com pendant un mois, nous penserons que vous avez peut-être cessé de vous intéresser à votre monitoring. Vous recevrez un premier mail pour vous signaler que le monitoring de vos sites privés va être suspendu.

Si vous êtes webmaster, en charge d'un ou plusieurs sites, vous pouvez utiliser Woozweb pour être alerté d'un incident survenant sur votre site.

Attention, il arrive qu'un site connaisse un incident qui ne se traduit ni par une absence de réponse, ni par une erreur http. Le serveur peut présenter aux internautes une page qui comporte un message d'erreur, ou bien simplement des données erronées.

C'est pour cela qu'il est possible d'indiquer une chaîne de caractères que la page doit contenir pour être considérée comme correcte. Si la chaîne indiquée n'apparaît pas dans la page, Woozweb considère que la page est erronée, et lève une alerte.

De nombreux sites ont besoin, pour un fonctionnement correct, de différentes ressources : base de données, serveur d'application, webservices externes, etc. Le service ne sera réellement opérationnel que si l'ensemble de ces ressources est bien disponible.

Pour que le monitoring soit pertinent, il faut alors que la page monitorée invoque bien la totalité de ces ressources. Il ne faut pas, en particulier, monitorer une page Html quasi statique, tandis que le vrai service, lui, aura besoin d'accéder à la base de données.

C'est pourquoi pour un monitoring applicatif complet, beaucoup de gestionnaires de sites ou d'applications web développent une page spécifique, dédiée au monitoring. Cette page invoque la totalité des ressources nécessaires au service, et retourne un message particulier si tout va bien, ou bien un diagnostic d'erreur sinon. Il suffit alors de mettre cette page de test sous monitoring et d'indiquer dans le champs " chaîne de recherche " le message d'absence d'erreur.

Les administrateurs système de Smile reçoivent un SMS d'alerte de Woozweb lorsqu'un incident survient sur un des sites dont ils ont la charge.

Toutefois, l'envoi de SMS présente un coût. Le coût d'un message unique est faible, mais n'oubliez pas que Woozweb travaille à très grande échelle, et le coût cumulé serait donc important. Nous ne pouvons donc pas étendre ce service à tous les utilisateurs.

Il existe toutefois une solution. Les opérateurs de téléphonie mobile proposent souvent un service de passerelle mail vers SMS. Les message emails parvenant sur une boîte mail particulière vous sont retransmis en tant que SMS. Si votre opérateur ne le propose pas, alors différents prestataires sur le web offrent ce même service.

Le seul empêchement à l'utilisation de Woozweb en Intranet est la visibilité du site depuis l'Internet. Si vos administrateurs réseau peuvent configurer les firewalls de l'entreprise pour accepter les requêtes http provenant de nos sondes, alors vous pourrez bénéficier du service sur vos applications internes. Adressez-nous une demande au moyen du formulaire de contact, et nous pourrons mettre cela en place avec vous.

Woozweb teste les pages 2 fois toutes les 15 minutes. Cela représente donc 8 hits à l'heure, et 192 hits par jour. C'est une charge totalement négligeable pour votre serveur, et il n'y a aucune crainte à avoir en termes d'impact sur les performances.

Le monitoring Woozweb représente 96 hits par jour. Si votre site a une faible audience, ces hits peuvent ne pas être totalement négligeables dans votre analyse d'audience. Il en est de même d'ailleurs du passage du crawler Google, qui lui va invoquer non pas une seule mais toutes les pages de votre site.

L'effet dépend en fait de la nature de votre outil de mesure d'audience. Si votre analyse d'audience s'appuie sur l'analyse des logs du serveur http, alors le passage des robots est décompté. Si votre analyse s'appuie sur un prestataire externe tel que Xiti ou Google Analytics, alors il ne sera aucunement impacté par le monitoring.f

Les robots d'indexation comme les robots de monitoring sont bien élevés et se font connaître, en donnant leur nom dans le champ 'user-agent' de la requête http qu'ils adressent au serveur. Les outils d'analyse d'audience savent retirer les robots ainsi identifiés.

La sonde HF de Woozweb s'identifie par user-agent=woozweb-monitoring.

Woozweb est un service offert par Smile, motoristes Internet. Smile est un prestataire de l'Internet et le premier intégrateur de solutions open source en France.

Smile a choisi de développer Woozweb simplement parce qu'il n'existait pas de service équivalent, ni même approchant. Les informations apportées par Woozweb sont plus que précieuses, elles sont nécessaires, parfois vitales. Pour les projets de Smile, mais aussi pour tous les professionnels du web, et particulièrement ceux qui sont obsédés par la qualité de service et les performances des sites, comme nous le sommes.

C'est une pratique courante chez les prestataires commerciaux du monitoring : période de gratuité initiale, service gratuit limité pour essayer, obligation de coller un logo sur son site, …

Rien de tout cela avec Woozweb. Jamais.

Le service gratuit de Woozweb n'est pas du teasing, n'est pas un appât pour attirer des clients vers un service payant, qui viendrait plus tard, ou offrirait des possibilités supplémentaires. Il y aura des possibilités nouvelles dans les versions futures de Woozweb, mais le service restera gratuit.

C'est Smile, motoristes Internet, qui finance intégralement le développement de Woozweb, son infrastructure, son hébergement et son exploitation.

Smile est un prestataire en ingénierie Internet, mais aussi un acteur impliqué dans la promotion des technologies open source, et le premier intégrateur de ces technologies en France. Nous considérons tout simplement que la libre mise à disposition du service de Woozweb à destination de tous les professionnels du web relève de la même philosophie d'ouverture et de partage qui est à la base du mouvement open source.

Disons que si l'on peut apporter sa pierre aux progrès des solutions informatiques en contribuant au code des programmes, on peut de la même manière contribuer à la performance et à la qualité de service de l'Internet en offrant de tels outils.

Et par ailleurs, le service de Woozweb est un outil de travail précieux pour nos propres équipes.

Non. Votre adresse email sera utilisée pour vous adresser des alertes, si vous l'avez demandé, lorsque les sites que vous avez inscrits sont indisponibles ou bien ont des temps de réponse fortement dégradés.

Smile vous adressera mensuellement une lettre d'information Woozweb, présentant les nouvelles fonctionnalités de Woozweb, des informations relatives au paysage Internet français, ou des événements en rapport avec les technologies de l'Internet et les meilleurs outils open source.

En acceptant les conditions générales, vous acceptez de recevoir ces informations. Si vous ne souhaitez pas les recevoir, il vous suffit de vous désinscrire.

Smile ne communiquera jamais vos informations personnelles à un tiers, et s'assurera qu'elles soient protégées de toute diffusion tant accidentelle que malveillante.

Non. Après des recherches approfondies, nous n'avons rien trouvé de semblable. Woozweb offre un service inédit, unique. Et gratuit, ce qui ne gâche rien.

Citons quelque services auxquels on pourrait comparer Woozweb.

Google, bien sûr, qui scrute pratiquement tous les sites de l'Interne, et met son index à disposition de tous. Mais Google ne s'intéresse qu'au contenu, et non à la performance, à la disponibilité et aux informations techniques. Pour un site donné, Google scrute plus de pages (toutes les pages sauf avis contraire), mais ne les scrute qu'à intervalle éloignés.

Alexa, qui utilise sa toolbar pour recueillir des informations d'audience relative des sites. Alexa scrute aussi les sites et obtient quelques informations qualitatives qui ont une petite intersection avec celles de Woozweb. Mais Alexa n'obtient pas d'information de monitoring, ni de disponibilité, ni de qualité de service.

WebArchive, qui scrute les sites de l'Internet pour archiver leurs contenus à intervalle. Comme Google, WebArchive ne s'intéresse qu'au contenu.

Mon.itor.us, un acteur de monitoring gratuit. Il est sensiblement en retrait par rapport à Woozweb dans la richesse d'information relevée, n'intègre pas de monitoring qualitatif basse fréquence, et donc ne dispose pas de toutes les informations qui requièrent un chargement complet de la page. Et par ailleurs Mon.itor.us n'a pas de monitoring public, et n'offre donc de l'information que pour les sites que l'on aura soi-même inscrits. Et pas de notion de statistiques transverses.

Oui, vous pouvez citer les statistiques transverses du web français, à condition de toujours mentionner la source de cette information.

Vous pouvez utiliser de l'information qualitative concernant les sites publics : système d'exploitation, serveur http, technologies serveur, poids de page, toujours en mentionnant la source de cette information.

Nous vous demandons de ne pas utiliser d'information qui pourrait nuire à la bonne réputation d'un site, par exemple de l'information faisant état d'une indisponibilité du service ou de temps de réponse dégradés. Comme indiqué dans cette FAQ, au chapitre " Que valent ces informations ? ", les informations obtenues par Woozweb, même si nous pensons qu'elles sont majoritairement exactes, peuvent être ponctuellement erronées. Si Woozweb fait état de l'indisponibilité d'un site, vérifiez par vous-mêmes.

Woozweb est un outil au service des professionnels du web, et non un outil qui peut les mettre en défaut.

Les programmes de Woozweb sont majoritairement réalisés en Java. Ils utilisent un certain nombre de grands composants open source, tels que Freemarker pour les interfaces, le moteur d'indexation-recherche Lucene, JfreeChart pour les graphes.

Le monitoring haute-fréquence s'appuie sur l'outil Nagios.

Python est utilisé pour l'ensemble des traitements batchs.

Woozweb utilise MySql, avec différents dispositifs de réplication.

Tous les serveurs sont sous Linux Debian.

Woozweb est un système hautement distribué. Dans sa configuration initiale, il compte une douzaine de serveurs, répartis sur trois datacenters.

Woozweb est conçu pour une très forte extensibilité : au fur et à mesure que des sites à monitorer sont ajoutés et que des nouveaux utilisateurs s'inscrivent, il suffit d'ajouter des serveurs pour augmenter la capacité d'accueil de Woozweb.

IsItRunning notifie une alerte dès que le site ne répond pas. Cependant, parfois c'est juste une micro coupure, ou alors, c'est le robot qui teste est lui même coupé du monde... En résumé, IsItRunning est alarmiste et envoie des alertes non vérifiées.

Sur Woozweb, une alerte n'est lancée seulement si 2 évènement consécutifs sont en erreur. De plus, Woozweb utilise un mécanisme de double monitoring en parallèle (Europe et Amérique). Il faut donc que l'erreur soit détecté en Europe ET en Amérique dans l'intervalle de 15 minutes, pour que l'erreur soit effectivement notifiée.

Sur Woozweb la détection est réalisée toutes les 15 minutes. Alors que sur IIR1, c'est lié à la fréquence de monitoring est en moyenne de 1h. Par conséquent, si le site est "down" entre 4h15 et 4h55, IIR1 ne soulevera aucune alerte alors que WoozWeb enverra 2 mail (down et rétablissement). WoozWeb envoie donc plus d'alertes.

En résumé, WoozWeb envoie plus fréquemment des alertes moins nombreuses... mais vérifiées.

Toutes ces données varient en fonction du temps. Woozweb fournit les données correllées à la période considérée.
Cela veut donc dire que pour 100 sites :

• - En octobre, 67 sites avaient une disponibilité suppérieure à 98%
• - En novembre, 72 sites avaient une disponibilité suppérieure à 98%

Woozweb présente 2 taux de changement : contenu et structure. Une page est contient du contenu texte et des balises HTML :

Les liens contiennent parfois un paramètre d'identifiant session (jsessionid) qui est regénéré à charque chargement de page. Ce qui entraine une structure différente à chaque chargement et donc un "taux de changement structure" jamais à zéro.

Il y a à cela plusieurs raisons. D'une part, le rendu HTML/CSS est celui de Firefox, et peut donc etre différent de ce que vous voyez avec un autre Navigateur. D'autre part, les screenshots sont réalisés en ignorant les cookies. Par ailleurs, un site peut contenir du flash, des publicitiés, des animations qui évoluent au cours du temps. Le rendu d'une page peut donc être différent entre deux consultations et peut même évoluer au cours d'une même consultation ....

Le temps total de chargement correspond au temps de chargement de la page et tous les éléments liés (gif, css, javascript, ...).

Le temps de réponse correspond au temps de chargement de la page, sans les éléments liés.