De nombreux consultants font le constat sur base d’analyses “bottom line” que le métier de la Usability est instable par manque de savoirs fondamentaux et de méthodes.

Un post de Bruce Temkin (Forrester) met en avant le manque de rigueur des processus et des définitions :

“One of the key problems with customer experience is that it’s not an “official” discipline like engineering and accounting. So it lacks a lot of rigor around processes and definitions.” Bruce Temkin – 2008

Un post de Jakob Nielsen met en avant le manque de connaissances en sciences comportementales et en méthodologie :

“Many people without a grounding in behavioral user-research principles use bogus methodology and thus get misleading findings.”  – Jakob Nielsen (2007)

Concernant les tests utilisateurs, trop de personnes sans bagage solide réalisent des tests utilisateurs n’ayant que peu de valeurs :

“Poor methodology is especially common for eyetracking studies, and thus most published studies in this area are wrong.” – Jakob Nielsen (2007)

Beaucoup de personnes sont passionnées par l’expérience utilisateurs et ont fait de cette passion leur métier.

Ils font de leur mieux pour faire leur travail tous les jours.

Je mentionne de “leur mieux” car la plupart du temps, ces personnes n’ont que peu appris les fondamentaux du comportement humain, n’ont pas accès à une méthode scientifique et n’ont pas d’outils adéquats sur le comportement humain.

Il y a de bonnes choses dans la Usability et d’autres qui sont mauvaises. Sans des connaissances sur le système perceptivo-cognitif et des outils de mesure, comment faire la différence ? 

Cela me fait penser à la publicité de Apple pour le lancement du 1er Macintosh, où l’on voit des gens se faire abreuver par des paroles standardisées afin d’anesthésier leurs capacités.

Tous les livres de techniques promettent aux lecteurs de réaliser de meilleures interfaces. Personnellement je préfère plutôt faire de toi un meilleur expert.

Cela te demandera beaucoup de travail mais je peux t’assurer beaucoup de plaisir au passage et de résultats concrets pour l’entreprise qui te mandate pour ce travail.

Que tout se passe bien pour toi et à la semaine prochaine.

Forrester has created a quality indicator with which to visualize user experiences on the web throughout the world (A special word of thanks to Bruce and his team! I would strongly advise you to follow their work). 

I would like to share my vision on the Forrester indicator with you in 7 posts on this blog. Here we go…

In order to generate an efficient task flow, you need to think beyond site development. First, you have to determine the real tasks users will want to do on the site. Secondly, you have to understand which kind of behaviours these tasks will demand from users who want to reach their objectives. 

An example: “I want to find a cordless phone with an answering machine, to replace my phone that broke down. 

After I have found a site that can provide an answer to my question, let’s say the Belgacom site, the scenario will cause different behaviours that will occur one after the other:

1. discover the interface,
2. look for the section containing cordless telephone devices,
3. discover the product offer,
4. …

Each kind of behaviour calls upon the use of the appropriate memory systems.

Let’s take a closer look at the first type of behaviour: look for the section with cordless phones.

1. The brain will use the visual system to look for interface elements that could provide the right answer. 
2. The semantic memory will be used to understand the meaning of the words found in the navigation. 
3. The working memory will decide whether the read word corresponds to the question at hand. 
4. …

All this will occur in a couple of milliseconds, and mainly at a non-conscious level.

When an expert in behavioural sciences will build a customer track, he will make decisions based on these memory systems in order to maximize the success of the customer track. His decisions are based on objective elements and rely on his knowledge and the appropriate tools. 

Netway’s expertise and tools allow our customers to successfully complete a minimum of 75% of tasks. I want to mention these numbers because they are the exact opposite of the Forrester results. Now, I wonder why… 

No, Forrester didn’t make a mistake. That would be too easy an explanation ☺. They work with experts. But it appears a thorough knowledge of the perceptive cognitive system is indispensable when it comes to building efficient interfaces. Limiting oneself to working with rules and guidelines just won’t do the trick. 

I was delighted to read the following statement on Muriel’s blog: “I voluntarily omit the word “rules” because I think there is no such thing as a “universal recipe” or “the behaviour of surfers behind a screen”… 

This is another proof there are more and more people who believe that an efficient interface can only be built based on the requirements and the behaviour of users. Objects are there to serve the users and not the other way around. 

Thanks Bruce, Muriel and all the others who work on the next step in the user experience. 

Have a nice week…

Forrester a créé un indicateur de qualité permettant de visualiser le niveau global de l’expérience utilisateur web dans le monde (merci à Bruce et son équipe pour ce travail que je te conseille de suivre régulièrement).

Au travers de 7 posts je me propose de partager avec toi ma vision sur chacun des différents points de l’indicateur de Forrester.

Pour générer un Task Flow efficace, c’est en amont du développement du site qu’il faut réfléchir. 

Après avoir déterminé les tâches réelles que les utilisateurs souhaitent réaliser, il est important de comprendre les différents comportements que ces tâches vont nécessiter de la part des utilisateurs pour atteindre leur objectif.

Par exemple : “je souhaite trouver un téléphone sans fil avec répondeur pour changer mon téléphone qui vient de rendre l’âme.” 

Après avoir trouvé un site pouvant répondre à cette question (exemple : Belgacom), le scénario va faire appel à plusieurs comportements différents qui vont s’enchaîner les uns après autres :

1. découvrir l’interface,
2. chercher la section qui contient les téléphones sans fil,
3. découvrir l’offre de produits
4. …

Chacun de ces comportements fait appel à l’utilisation de systèmes mnésiques adéquats. 

Prenons le premier comportement : “chercher la section qui contient les téléphones sans fil” : 

1. le système visuel est utilisé par le cerveau pour chercher les composants de l’interface permettant de trouver la réponse souhaitée, 
2. la mémoire sémantique sera sollicitée afin d’extraire le sens des mots proposés dans la navigation, 
3. la mémoire de travail va prendre la décision de savoir si oui ou non le mot lu répond à la question posée.
4. …

Et tout cela en quelques millisecondes et de manière majoritairement inconsciente.

Lorsqu’un expert en sciences comportementales construit un parcours client, il prend des décisions sur chacun de ces systèmes mnésiques afin que le hasard n’ait pas sa place dans la réussite du parcours par les vrais utilisateurs. Ses décisions sont prises de manière objective grâce à son savoir et à des outils spéciaux.

Avec l’expertise et les outils développés chez Netway, les clients pour lesquels nous travaillons réalisent parfaitement au minimum 75% des tâches. Je me permets de citer ces chiffres car ceux-ci sont juste l’inverse des données récoltées par Forrester.

D’après toi pourquoi? 

Non, ce n’est pas Forrester qui se trompe C’est le niveau des experts qui est élevé. L’évidence apparaît : la connaissance approfondie du système perceptivo-cognitif est indispensable pour construire des interfaces efficaces, des règles ne suffisent pas.

Quel bonheur pour moi d’avoir lu ceci sur le blog de Muriel : “J’exclus volontairement le mot “règles” car je pense qu’il n’y pas de recette universelle”, ou encore “… les internautes ont des comportements particuliers face à l’écran …”.

Un grand mouvement de pensées existe et montre que pour obtenir des interfaces efficaces, il faut réfléchir la construction d’un site à partir des utilisateurs. Les objets sont là pour servir les utilisateurs, pas l’inverse.

Merci à Bruce, Muriel et tous les autres de faire évoluer l’expérience utilisateur.

Passe une excellente semaine…

I often talk about the power gurus have over the intellect of professionals working in usability. 

By doing so I hope to give back the willingness and eagerness to think, instead of believing everything these gurus tell, without using our own brain and our own critical minds. 

Here’s another example of this cerebral anaesthesia: the 5-tester myth… 

In 1993, Jakob Nielsen states in a paper that, according to him, 5 testers are enough to identify 80% of ergonomics problems. 

A luring statement for people who work in usability because it allows them to put only a very limited number of people in front of a screen. Furthermore, it speeds things up considerably. 

A large number of scientists who have conducted studies aimed at measuring the real impact the number of testers has on the performance of a web site, have raised objections against this theory. And companies have also discovered the limits of this myth. 

Here’s an example. During a study conducted by Spool & Schroeder in 2001 (fiveusers.pdf), the first five users only revealed 35% of the ergonomics problems of a website. In this same study, the 13^th and 15^th tester have identified major issues on the website.

Another test used 18 testers. And they have found more than five new obstacles once the number of testers exceeded the magical number 5 (Perfetti&Landesman, 2002). 

Laura Faulkner, who is a scientist working at the University of Texas in Austin, has conducted a study in which 60 testers were present (faulkner_brmic_vol35.pdf). The 60 testers were grouped randomly in groups of 5, 10, … 

The results are quite revelatory: 

1. The 12 groups of 5 testers have found between 55 and 85% of the problems. 
2. By putting people in groups of 10, the minimum percentage of identified problems raises to 80%. 
3. By making groups of 20 testers, the minimum percentage of identified problems raises to 95%. 

Using 15 users will allow for the optimum balance between costs and reliability. You will indeed discover between 90 and 97% of problems. After more than 150 projects, my field experience confirms these different scientific results. 

That leaves the question to use techniques allowing you to gather objective data and to avoid subjectivity. We’ll come back to that later… 

Have a good week. Marc 

Je parle souvent du pouvoir des gourus sur l’intellect des professionnels évoluant dans le domaine de la Usability.

Mon espoir est de redonner à tous l’envie de réfléchir et de ne pas croire tout ce que ces gourus disent sans utiliser votre cerveau et votre sens critique.

Voici encore un exemple parlant de cette anesthésie cérébrale : le mythe des 5 testeurs.

Jakob Nielsen sort un papier en 1993 signalant que, selon lui, avec 5 testeurs 80% des problèmes ergonomiques peuvent être identifiés.

Ce postulat est très attractif pour les gens évoluant dans la Usability car il permet de confronter des écrans à un petit nombre de personnes et rapidement. 

Beaucoup de scientifiques ont dénoncé cela après avoir réalisé des études visant à mesurer l’impact réel du nombre de testeurs sur les performances d’un site web. Des entreprises ont également vu les limites de ce mythe.

Par exemple, lors d’une étude réalisée par Spool & Schroeder en 2001(fiveusers.pdf), les 5 premiers utilisateurs n’ont pu révéler que 35% des problèmes ergonomiques d’un site web. Dans cette même étude, les 13e et 15e testeurs ont permis d’identifier des problèmes majeurs sur le site web.

Un autre test réalisé avec 18 testeurs a permis de trouver “more than five new obstacles” après avoir dépassé les 5 testeurs (Perfetti & Landesman, 2002).

Laura Faulkner, une scientifique de l’Université du Texas à Austin a effectué une étude dans laquelle 60 testeurs ont été utilisés (faulkner_brmic_vol35.pdf). Ces 60 testeurs ont été regroupés de manière aléatoire en groupe de 5, 10, ….

Les résultats sont parlants :

1. les 12 groupes de 5 testeurs ont trouvés entre 55% et 85% des problèmes.
2. En regroupant les personnes par 10, le pourcentage  minimum de problèmes identifiés passe à 80%.
3. En regroupant les personnes par groupe de 20 utilisateurs, le pourcentage minimum de problèmes identifiés passe à 95%.

Utiliser 15 testeurs vous permettra d’avoir le meilleur équilibre coût/fiabilité. En effet, vous identifierez entre 90 et 97% des problèmes. Après plus de 150 missions réalisées, l’expérience de terrain confirme ces différentes recherches scientifiques.

Reste ensuite à utiliser des techniques permettant de récolter des données objectives et éviter la subjectivité. Nous en reparlons.

Bonne semaine à tous. Marc

In my line of work, a macro and global vision on Customer Experience Failures allows me to see the evolution of the maturity of companies’ digital solutions. That’s why I wish to thank the Forrester team (Bruce Temkin) for their work in this domain. 

An analysis of their data, however, reveals the situation improves but slightly or not at all, over the last couple of years. All reports show companies don’t succeed in delivering the best results. 

This leads me often to the same question. 

Considering…

1. the fact that we live in an ever-expanding usability market,
2. the impressive number of people having followed (or who are about to follow) guru seminars on usability,
3. the impressive number of ergonomics specialists, customer experience architects in the Internet domain,

… how is it possible that the clients of these service providers still fail in delivering an optimum customer experience? 

I found the answer to that question two years ago, when we started working for the so-called Switchers, clients who used to work with usability specialists and later on switched to working with us. Here’s how they see it: 

“Very few Internet services suppliers are capable of creating an optimum user experience for their clients. For me, it’s not the companies that are bad students, but their suppliers who don’t do the necessary coaching or who don’t act as teachers.”

If companies would know how to generate an optimum user experience, they would do so. Simply because that’s the way to win the battle on the Internet. The Switcher clients have all taught us the same thing: that usability needs to be put centre is an easy sell, but concrete results are still a far way away from us. 

If you want to become a tax consultant, you need to study. It is a complicated and protected profession. The same goes for GPs: not only have doctors studied, their profession is also complicated and protected…

Usability however requires no training, is easy to learn and is not a protected profession. The conclusion is the result of the Forrester survey: Customer Experience Failures continue to live. 

All mature companies that want to obtain concrete business results no longer use the guidelines and/or recipe lists and have understood why working with behaviour specialists is worthwhile. 

I would be delighted to discuss all this with Forrester in order to supplement their reports with concrete action and to make the digital life of millions of users easier and nicer.

Dans le métier d’expert que je pratique, avoir une vue macro et mondiale  sur l’évolution des “Customer Experience Failures” permet de voir l’évolution de la maturité des solutions digitales proposées par les sociétés. Pour cela, je tiens à remercier l’équipe de Forrester (Bruce Temkin) pour leur travail dans ce domaine.

En analysant leurs données, on observe que d’année en année, malheureusement la situation ne s’améliore que peu voire pas du tout. Tous les rapports pointent du doigt les sociétés qui n’arrivent pas à atteindre de meilleurs résultats.

Une question me vient régulièrement à l’esprit. 

Avec …

1. un marché sans cesse croissant de personnes travaillant autour de la Usability,
2. le nombre impressionnant de personnes ayant suivi et qui vont encore suivre des séminaires de gourous dans le domaine de la Usability,
3. ou encore l’apparition massive du titre d’ergonome, de Customer Experience Architect au sein des prestataires dans le domaine internet,

… comment se fait-il que les sociétés clientes de tous ces prestataires de services n’arrivent toujours pas à obtenir de meilleures Customer Experience?

La réponse simple à cette question m’est apparue il y a 2 ans, lorsque nous avons commencé à effectuer des missions auprès de nos clients “Switcher”, des sociétés travaillant auparavant avec des Usability Specialist et qui sont passées à nos techniques de Sciences Comportementales : 

“très peu de prestataires de services internet sont capable de créer cette expérience utilisateur optimale pour leurs clients. Pour moi les sociétés ne sont pas de mauvais élèves, ce sont les prestataires qui sont de mauvais guides et/ou professeurs.”

Si les sociétés savaient comment faire pour générer une expérience utilisateur optimale, elles le feraient… tout simplement car c’est le nerf de la guerre sur internet. Nos clients “Switchers” nous ont tous appris la même chose : le discours Usability consistant à placer l’utilisateur au centre de nos préoccupations était acquis rapidement, se sont les résultats concrets qui sont très peu présents.

Devenir expert fiscaliste requiert des études; c’est un métier compliqué et l’accès à la profession est réglementé. Devenir médecin requiert des études et c’est un métier compliqué et l’accès à la profession est également réglementé…

La Usability ne demande aucune formation, est très facilement appréhendable et n’est pas un métier protégé. La conclusion est le résultat de l’enquête de Forrester : les Customer Experience Failures continuent à être reproduites.

Toutes les sociétés matures qui veulent obtenir des résultats business concrets n’utilisent plus les guidelines et/ou listes de recettes et ont bien compris l’intérêt de travailler avec des experts en sciences comportementales à leurs côtés.

Que dire de plus : je serai ravi de discuter de tout cela avec Forrester pour agrémenter leurs rapports de pistes concrètes et rendre la vie digitale de millions de personnes plus facile et agréable.

The Belgian programme “Matière grise” is a show about many scientific topics and is broadcasted on the RTBf (French-speaking national broadcasting network in Belgium). It included a complete report on ergonomics on the Internet. 

I was delighted to make a contribution to the making. I hope the programme will please you as much as the hundreds of thousands of people who have already watched it. 

Matière Grise sur l’ergonomie from theafter on Vimeo.

Have a nice week.

Dans son émission “Matière grise”, traitant de nombreux sujets scientifiques, la RTBf (télévision nationale belge) a tourné un reportage complet sur l’ergonomie appliquée à Internet.

J’ai été ravi d’apporter ma pierre à l’édifice pour ce tournage. J’espère que cette émission vous plaira autant qu’aux centaines de milliers de personnes qui l’ont déjà regardée.

Matière Grise sur l’ergonomie from theafter on Vimeo.

Bonne semaine à tous. Marc

I am always surprised to see how many books, articles, … exist on ergonomics with recipes on what not to do and what to do. However, you can only find very little information on how to do it! 

There’s a whole series of rules and checklists with which to evaluate the usability of Internet sites: 

- Is your homepage inviting? 

- Is the navigation easy to understand? 

- Does the site have a professional design? 

…

In 99% of the cases, these criteria are very general. By that, I mean they cannot be used in particular cases. Because every site is unique! 

In most cases these criteria are about commonsense and they are very subjective. 

A simple example to demonstrate my point: the navigation of the Eurogentec site. 

Do you think the navigation is easy to understand? I think not. Still, this navigation is perfectly understandable for real users of the site, who are all researchers in molecular chemistry. 

Another example: the homepage of the site for Electrabel. 

Is the navigation easy to understand? Depends on who you are. 

The question at hand is to know whether the used terminology will help real users of the site to find the answers they are looking for. This will allow us to predict whether users will find their way around. And that’s something that the designer of the site can’t know, and me neither, because we can’t look inside the heads of thousands of people. 

I can’t give you an answer to the question. What I can do, is analyze the navigation, using the appropriate tools and discover the navigation contains a number of lexicological areas of conflict. These conflicts will lead to hesitation on the part of the users, who will not be sure which category to choose. 

Let’s take a simple scenario to illustrate our point. One which could affect a large number of Electrabel clients: “I want to find the best products and services to save energy”. Where does this client go? 

1. Je veux?
2. Products and services?
3. Energy saving? 

All three could provide an answer to his question… 

From a behavioural point of view, this is what we call mismanaged lexical and semantic intersections. 

In this case, a user will most probably not know which element to choose. The designer of the site forces the user to make a choice. And this is a choice the user should not be required to make since he doesn’t know what content is hidden behind the different categories to choose from. 

Most probably, the designer of the site is convinced the navigation is easy to understand. 

After 15 years of experience in behavioural science, and over 150 projects in this domain, I realize every time that I don’t know what works and what doesn’t. 

However, we can obtain 80% of concrete results for every mission. 

How? By knowing what behaviour I need to generate and by using cutting-edge tools. 

If a recipe would suffice to obtain results, the Forrester data on errors on Internet sites would be more encouraging… 

Have a nice week… Marc