I often talk about the power gurus have over the intellect of professionals working in usability. 

By doing so I hope to give back the willingness and eagerness to think, instead of believing everything these gurus tell, without using our own brain and our own critical minds. 

Here’s another example of this cerebral anaesthesia: the 5-tester myth… 

In 1993, Jakob Nielsen states in a paper that, according to him, 5 testers are enough to identify 80% of ergonomics problems. 

A luring statement for people who work in usability because it allows them to put only a very limited number of people in front of a screen. Furthermore, it speeds things up considerably. 

A large number of scientists who have conducted studies aimed at measuring the real impact the number of testers has on the performance of a web site, have raised objections against this theory. And companies have also discovered the limits of this myth. 

Here’s an example. During a study conducted by Spool & Schroeder in 2001 (fiveusers.pdf), the first five users only revealed 35% of the ergonomics problems of a website. In this same study, the 13^th and 15^th tester have identified major issues on the website.

Another test used 18 testers. And they have found more than five new obstacles once the number of testers exceeded the magical number 5 (Perfetti&Landesman, 2002). 

Laura Faulkner, who is a scientist working at the University of Texas in Austin, has conducted a study in which 60 testers were present (faulkner_brmic_vol35.pdf). The 60 testers were grouped randomly in groups of 5, 10, … 

The results are quite revelatory: 

1. The 12 groups of 5 testers have found between 55 and 85% of the problems. 
2. By putting people in groups of 10, the minimum percentage of identified problems raises to 80%. 
3. By making groups of 20 testers, the minimum percentage of identified problems raises to 95%. 

Using 15 users will allow for the optimum balance between costs and reliability. You will indeed discover between 90 and 97% of problems. After more than 150 projects, my field experience confirms these different scientific results. 

That leaves the question to use techniques allowing you to gather objective data and to avoid subjectivity. We’ll come back to that later… 

Have a good week. Marc 

Je parle souvent du pouvoir des gourus sur l’intellect des professionnels évoluant dans le domaine de la Usability.

Mon espoir est de redonner à tous l’envie de réfléchir et de ne pas croire tout ce que ces gourus disent sans utiliser votre cerveau et votre sens critique.

Voici encore un exemple parlant de cette anesthésie cérébrale : le mythe des 5 testeurs.

Jakob Nielsen sort un papier en 1993 signalant que, selon lui, avec 5 testeurs 80% des problèmes ergonomiques peuvent être identifiés.

Ce postulat est très attractif pour les gens évoluant dans la Usability car il permet de confronter des écrans à un petit nombre de personnes et rapidement. 

Beaucoup de scientifiques ont dénoncé cela après avoir réalisé des études visant à mesurer l’impact réel du nombre de testeurs sur les performances d’un site web. Des entreprises ont également vu les limites de ce mythe.

Par exemple, lors d’une étude réalisée par Spool & Schroeder en 2001(fiveusers.pdf), les 5 premiers utilisateurs n’ont pu révéler que 35% des problèmes ergonomiques d’un site web. Dans cette même étude, les 13e et 15e testeurs ont permis d’identifier des problèmes majeurs sur le site web.

Un autre test réalisé avec 18 testeurs a permis de trouver “more than five new obstacles” après avoir dépassé les 5 testeurs (Perfetti & Landesman, 2002).

Laura Faulkner, une scientifique de l’Université du Texas à Austin a effectué une étude dans laquelle 60 testeurs ont été utilisés (faulkner_brmic_vol35.pdf). Ces 60 testeurs ont été regroupés de manière aléatoire en groupe de 5, 10, ….

Les résultats sont parlants :

1. les 12 groupes de 5 testeurs ont trouvés entre 55% et 85% des problèmes.
2. En regroupant les personnes par 10, le pourcentage  minimum de problèmes identifiés passe à 80%.
3. En regroupant les personnes par groupe de 20 utilisateurs, le pourcentage minimum de problèmes identifiés passe à 95%.

Utiliser 15 testeurs vous permettra d’avoir le meilleur équilibre coût/fiabilité. En effet, vous identifierez entre 90 et 97% des problèmes. Après plus de 150 missions réalisées, l’expérience de terrain confirme ces différentes recherches scientifiques.

Reste ensuite à utiliser des techniques permettant de récolter des données objectives et éviter la subjectivité. Nous en reparlons.

Bonne semaine à tous. Marc

In the first episod we have seen that every task performed on a site will lead to a different perceptive-cognitive behaviour. 

Let’s now analyze the first two tasks:

Task 1: free screening of the image (“Look at the image in front of you”). 

Task 2: perform a task that involves answering a question (“What is the social level of this family?”)

The fundamental difference between these two tasks consists in the use of the brain. The first task involves no prior action of the brain, whereas in the second case, the brain will act before looking at the image. 

Ready, steady, go!

Task 1: free screening 

1. The eye receives information on the image and will transform this information into electrical pulses.
    
2. Then, the information is sent via the optic nerve to the vision centre (occipital lobe of our brain).
    
3. The information is analyzed and separated in the parietal lobe (at this stage, the information still hasn’t received any meaning). 
    
4. In the next step, the information travels to the frontal lobe in order to be analyzed. Here, the information will be given a meaning.
    
5. If the information is considered to be interesting, it will be stocked in our long-term memory. 

This mechanism is typical of free screening, which will almost never occur on the Internet. A user has an objective (find information, book a DVD, view the details of an invoice,…). Let’s now have a look at how our perceptive-cognitive system works when we are looking for the answer to a specific question. 

Task 2: “What is the social level of the family”?

1. The frontal lobe, which is amongst others responsible for our reasoning, will try to gather all the information needed to answer the question (“What do I need to find in order to determine the social level of this family?”). To do so, it will… 
    
2. … gather all known elements that will allow it to solve the problem (social level = furniture, clothing, …). 
    
3. All these elements will be fed into what is called a mental model (a kind of knowledge map of the problem and how to solve it), stored in the working memory of the frontal lobe. The frontal lobe is also the centre of the involuntary movements of the eye. This is why the brain will guide the visual system in order to find the information necessary to answer the given question. 
    
4. The eyes, guided by the brain, will voluntarily look at certain zones of the image. 
    
5. The information is then send to the vision centre (the occipital lobe of our brain). 
    
6. The information is analyzed and separated in the parietal lobe (at this stage, the information still hasn’t received any meaning). 
    
7. In order to be analyzed and to be given a meaning, the info is sent to the frontal lobe. There, it will be compared with the mental model so the given question can be answered. 
    
8. If we feel the information is interesting, we will store it in our long-term memory. 

Wow: the brain guides our eye when we need to perform a task. 

Wow: not all the information in the image will be looked at. 

The same happens on a website. According to the kind of task:

1. The brain will gather the information it needs to build a mental model.

2. The brain will guide our eyes to information it considers useful to solve the problem. Once we have found the zone we need, our eyes will look at its content. 

3. The information’s is assessed, analyzed, compared. Our brain will attribute the visited zone a certain level of usefulness in performing the task. 

4. After the analysis and the action, the brain will choose the best element capable of solving the given problem and will guide the movement of the mouse towards an element to click on, for instance. 

5. The elements, their usefulness and the experience are stored in our long-term memory. 

All this mostly happens unconsciously. Even better: this mechanism is the same for all users. This constitutes the fundamentals that will allow us to transcend subjectivity and to work with an objective basis to start from. 

The role of the experts consists in building interfaces that take into account this mechanism: 

1. Know which tasks people perform or will perform on a site,
2. Range the tasks into the different memory systems of the brain (the references of the user’s brain, the way in which the user will organise the content on the site into different semantic collections, the words that are used most often, the optimal visual organisation of the page,…). 
3. Build solutions that take into account all these different elements (I will come back on this topic in the next posts). 

There you go, I hope this will help you in your development work. 

Have a nice week. Marc 

Dans l’épisode 1, nous avons vu que chaque tâche réalisée sur un site internet entraîne un comportement perceptivo-cognitif spécifique.

Prenons le temps d’analyser plus en détails les deux premières tâches :

Tâche 1 : inspection libre de l’image (“Regardez l’image qui est présentée devant vous”)

Tâche 2 : réaliser une tâche basée sur la résolution d’une question (“Quel est le niveau social de la famille?”)

La différence fondamentale entre ces deux tâches est que la première tâche ne nécessite aucun traitement préalable du cerveau, tandis que dans la seconde tâche, le cerveau va être sollicité avant de regarder l’image.

Prêt? Allons-y

Tâche 1 : inspection libre

1. L’oeil reçoit les informations de l’image et les transforme en impulsions électriques.

2. Les informations sont envoyées, via le nerf optique, dans le centre de la vision (le lobe occipital de notre cerveau)

3. Les informations sont analysées et séparées dans le lobe pariétal (à ce stade il n’y a toujours aucun sens donné aux informations)

4. Elles vont passer dans le lobe frontal afin d’être analysées (c’est ici qu’un sens est donné aux informations)

5. Si les informations sont jugées intéressantes elles seront stockées en mémoire à long terme.

Ce mécanisme est issu d’une tâche d’inspection libre, ce qui n’arrive presque jamais sur internet. En effet un utilisateur vient avec un objectif (trouver de l’info, commander un DVD, avoir le détail d’une facture…). Voyons maintenant comment fonctionne notre système perceptivo-cognitif lorsque nous devons trouver la réponse à une question.

Tâche 2 : “Quel est le niveau social de la famille?”

1. Le lobe frontal, responsable, entre autre, du raisonnement, va chercher à rassembler toutes les informations permettant de résoudre la tâche. (“Que dois-je chercher comme infos pour connaître le niveau social d’une famille?”). Pour cela elle va rassembler…

2. … tous les éléments les plus connus permettant de résoudre le problème. (niveau social = mobilier, habillement, type de pièce…)

3. Tous ces éléments vont venir alimenter ce que l’on appelle un modèle mental (genre de carte de connaissances du problème posé et de la manière d’y répondre), stocké en mémoire de travail dans le lobe frontal. Le lobe frontal étant aussi le centre des mouvements volontaires de l’oeil, le cerveau va littéralement “piloter” le système visuel pour aller chercher les informations adéquates permettant de résoudre la question posée.

4. Les yeux, pilotés par le cerveau, vont être orientés volontairement vers certaines zones de l’image.

5. Les informations sont envoyées dans le centre de la vision (le lobe occipital de notre cerveau)

6. Les informations sont analysées et séparées dans le lobe pariétal (à ce stade il n’y a toujours aucun sens donné aux informations)

7. Elles vont passer dans le lobe frontal afin d’être analysées (c’est ici qu’un sens est donné aux informations) et comparées avec le modèle mental afin de pouvoir répondre à la question posée.

8. Si les infos sont jugées intéressantes elles seront stockées en mémoire à long terme.

Whoaaw : le cerveau pilote les yeux lorsqu’une tâche doit être réalisée.

Whoaaw : toutes les informations ne sont pas regardées dans l’image.

Eh bien c’est la même chose sur un site ! En fonction des tâches :

1. le cerveau récolte les infos dont il a besoin pour se faire un modèle mental

2. le cerveau pilote les yeux pour chercher les infos qu’il croit utiles dans l’interface pour résoudre le problème. Une fois la zone identifiée, les yeux regardent le contenu de cette dernière,

3. les informations sont évaluées, analysées, comparées et le cerveau va attribuer à la zone visitée un niveau d’utilité par rapport à la tâche.

4. après analyse et action, le cerveau va faire un choix sur le meilleur élément capable de l’aider à résoudre le problème posé et pourra également piloter le mouvement de la souris vers l’objet afin, par exemple, de cliquer.

5. les éléments, leur utilité et l’expérience seront stockés en mémoire à long terme.

Tout cela se passe principalement de manière inconsciente. Mieux : ce mécanisme est le même pour tous les utilisateurs. Voilà les fondements qui vont permettre de sortir du dialogue subjectif pour permettre aux experts d’avoir une base objective pour leur travail.

Maintenant, le rôle de l’expert va être de construire des interfaces en fonction de ce mécanisme :

1. connaître les tâches que les gens font ou feront sur le site,
2. décomposer ces tâches dans les différents systèmes mnésiques du cerveau (quel est l’acquit de l’utilisateur, ses référents, l’organisation sémantique de son cerveau concernant le contenu proposé par le site, les lexiques les plus utilisés, l’organisation visuelles optimale de la page, …).
3. construire les solutions en fonction de tous ces éléments (je détaillerai cela au fur et à mesure des posts publiés)

Voilà… J’espère que cela vous aidera dans vos développements.

Bonne semaine à tous. Marc

My profession is based on a thorough knowledge of the perceptive cognitive system. This knowledge allows experts to make objective choices concerning interfaces.

Without this knowledge, every recommendation is no more than the subjective opinion of one single person. And there is the risk this opinion will be used by numerous people, without it ever being questioned, let alone understood. 

I will try to share my knowledge of this wonderful tool with you. It is based on a deep understanding of how the eyes and the brain interact whilst using a website.

This first episode treats the first fundamental point: the perceptive cognitive system adapts itself according to the tasks it has to perform. 

To put things as simply as possible, I refer to the work by professor Yarbus. In 1967, he has done a number of experiments aimed at verifying the behaviour of a human being when faced with an image. 

His thesis is as follows: depending on the question one has to answer, one will look differently at the different zones of an image. 

A number of subjects were asked to perform 7 tasks. Each task was registered with eye-tracking devices. 

First, the subjects were asked to perform a free inspection of the image. This means they were asked to look at the image, without having been given any prior question. The 6 following tasks were all related to a specific question to which to provide an answer. 

Here are the results…

His conclusions? Each task entails a different eye behaviour, which indicates a different interaction between the eyes and the brain. 

In this study, we are dealing with an image but the same goes for an Internet site. According to the tasks users will perform on your site, they will look at different elements. 

In the next episode, we will have a detailed look at the interaction between the eyes and the brain, in two different situations: 

1. In the first situation, no question was asked.
2. In the second situation, which is much closer to how users use the web, users were asked to perform a specific task. 

I wish you an excellent day!

Le socle de mon métier est basé sur la connaissance approfondie du système perceptivo-cognitif. C’est cette connaissance qui permet à des experts de  faire des choix concernant les interfaces sur des bases objectives. 

Sans ces connaissances, toute recommandation reste l’avis subjectif d’une personne. Le risque est que cet avis soit utilisé par de nombreux autres sans jamais être remis en question et surtout compris.

Je vais essayer de vous faire partager mes connaissances de ce magnifique outil que représente le couple vision – cerveau dans l’utilisation d’un site.

Dans ce premier épisode nous allons aborder le premier point fondamental : le système perceptivo-cognitif d’une personne s’adapte en fonction des tâches qu’il souhaite réaliser. 

Pour vous expliquer cela le plus simplement possible, je vais utiliser le travail du Professeur Yarbus, qui en 1967 a réalisé une série d’expériences afin de vérifier les comportements de personnes face à une image.

Le postulat du Professeur Yarbus était le suivant : une personne ne regarde pas les mêmes zones d’une image en fonction de la question posée. 

Il a demandé à plusieurs sujets de réaliser 7 tâches, chaque tâche étant enregistrée avec du matériel « eye tracking ».

La première tâche est une inspection libre de l’image (regarder l’image sans aucune question spécifique), les 6 tâches suivantes consistant à répondre à une question spécifique.

Voici les résultats :

Ses conclusions? Chaque tâche engendre un comportement oculaire différent, indiquant un fonctionnement du couple yeux – cerveau différent.

Ici il s’agit d’une image, mais sur un site internet il en va de même. En fonction des tâches que les utilisateurs réalisent sur votre site, ils ne regarderont pas la même chose.

Dans le prochain épisode, nous verrons le fonctionnement en détail du couple yeux – cerveau dans deux situations différentes : 

1. l’une ou aucune question spécifique n’est posée, 
2. l’autre, beaucoup plus proche de l’utilisation d’un site web, où une tâche spécifique est demandée. 

Je vous souhaite une excellente journée.