I often talk about the power gurus have over the intellect of professionals working in usability. 

By doing so I hope to give back the willingness and eagerness to think, instead of believing everything these gurus tell, without using our own brain and our own critical minds. 

Here’s another example of this cerebral anaesthesia: the 5-tester myth… 

In 1993, Jakob Nielsen states in a paper that, according to him, 5 testers are enough to identify 80% of ergonomics problems. 

A luring statement for people who work in usability because it allows them to put only a very limited number of people in front of a screen. Furthermore, it speeds things up considerably. 

A large number of scientists who have conducted studies aimed at measuring the real impact the number of testers has on the performance of a web site, have raised objections against this theory. And companies have also discovered the limits of this myth. 

Here’s an example. During a study conducted by Spool & Schroeder in 2001 (fiveusers.pdf), the first five users only revealed 35% of the ergonomics problems of a website. In this same study, the 13^th and 15^th tester have identified major issues on the website.

Another test used 18 testers. And they have found more than five new obstacles once the number of testers exceeded the magical number 5 (Perfetti&Landesman, 2002). 

Laura Faulkner, who is a scientist working at the University of Texas in Austin, has conducted a study in which 60 testers were present (faulkner_brmic_vol35.pdf). The 60 testers were grouped randomly in groups of 5, 10, … 

The results are quite revelatory: 

1. The 12 groups of 5 testers have found between 55 and 85% of the problems. 
2. By putting people in groups of 10, the minimum percentage of identified problems raises to 80%. 
3. By making groups of 20 testers, the minimum percentage of identified problems raises to 95%. 

Using 15 users will allow for the optimum balance between costs and reliability. You will indeed discover between 90 and 97% of problems. After more than 150 projects, my field experience confirms these different scientific results. 

That leaves the question to use techniques allowing you to gather objective data and to avoid subjectivity. We’ll come back to that later… 

Have a good week. Marc 

Je parle souvent du pouvoir des gourus sur l’intellect des professionnels évoluant dans le domaine de la Usability.

Mon espoir est de redonner à tous l’envie de réfléchir et de ne pas croire tout ce que ces gourus disent sans utiliser votre cerveau et votre sens critique.

Voici encore un exemple parlant de cette anesthésie cérébrale : le mythe des 5 testeurs.

Jakob Nielsen sort un papier en 1993 signalant que, selon lui, avec 5 testeurs 80% des problèmes ergonomiques peuvent être identifiés.

Ce postulat est très attractif pour les gens évoluant dans la Usability car il permet de confronter des écrans à un petit nombre de personnes et rapidement. 

Beaucoup de scientifiques ont dénoncé cela après avoir réalisé des études visant à mesurer l’impact réel du nombre de testeurs sur les performances d’un site web. Des entreprises ont également vu les limites de ce mythe.

Par exemple, lors d’une étude réalisée par Spool & Schroeder en 2001(fiveusers.pdf), les 5 premiers utilisateurs n’ont pu révéler que 35% des problèmes ergonomiques d’un site web. Dans cette même étude, les 13e et 15e testeurs ont permis d’identifier des problèmes majeurs sur le site web.

Un autre test réalisé avec 18 testeurs a permis de trouver “more than five new obstacles” après avoir dépassé les 5 testeurs (Perfetti & Landesman, 2002).

Laura Faulkner, une scientifique de l’Université du Texas à Austin a effectué une étude dans laquelle 60 testeurs ont été utilisés (faulkner_brmic_vol35.pdf). Ces 60 testeurs ont été regroupés de manière aléatoire en groupe de 5, 10, ….

Les résultats sont parlants :

1. les 12 groupes de 5 testeurs ont trouvés entre 55% et 85% des problèmes.
2. En regroupant les personnes par 10, le pourcentage  minimum de problèmes identifiés passe à 80%.
3. En regroupant les personnes par groupe de 20 utilisateurs, le pourcentage minimum de problèmes identifiés passe à 95%.

Utiliser 15 testeurs vous permettra d’avoir le meilleur équilibre coût/fiabilité. En effet, vous identifierez entre 90 et 97% des problèmes. Après plus de 150 missions réalisées, l’expérience de terrain confirme ces différentes recherches scientifiques.

Reste ensuite à utiliser des techniques permettant de récolter des données objectives et éviter la subjectivité. Nous en reparlons.

Bonne semaine à tous. Marc