Mesures de l'utilisabilité du logiciel de transcription automatique nat braille v. 2.0 - entre ergonomie logicielle et design d'interaction homme-machine

2. EXPÉRIENCE

2.1. Méthode

2.1.1. Participants

Deux groupes de cinq participants ont réalisé les tests d'utilisabilité de NAT. Ces participants

étaient tous en contact avec des déficients visuels :

- soit en intégration :

deux professeurs en physique-chimie et mathématiques ;

- soit en établissement spécialisé (cité scolaire René Pellet) :

trois professeurs de physique-chimie, histoire-géographie, et économie-gestion ;

trois éducateurs spécialisés ;

une orthophoniste ;

une assistante de vie scolaire.

Tous les participants ne produisent pas forcément du Braille dans leurs fonctions, mais sont sensibilisés aux matériels spécifiques, aux procédures impliquées et aux difficultés inhérentes à cette modalité d'accès à l'information. Sur les dix sujets, neuf étaient de sexe féminin. Deux sujets déclaraient des niveaux très faibles en Informatique, les autres un niveau intermédiaire ; aucun n'avait pris connaissance du logiciel avant les tests. Les règles de braille abrégé n'étaient connues d'aucun participant.

2.1.2. Matériel

Les deux phases de test n'ont pu, pour des raisons pratiques, être menées sur le même matériel informatique. Ceci peut avoir une incidence notamment sur les différences observées de temps général de passation. Chaque ordinateur possédait la version testée de NAT, le logiciel de capture « CamStudio¹⁰ » pour l'enregistrement des traces de souris et des commentaires du sujet ; par ailleurs le logiciel de nettoyage et d'optimisation « CCleaner¹¹ » était lancé avant chaque passation¹². On notera que la capture vidéo en arrière-plan au cours d'une passation est à l'origine d'une consommation de ressources non négligeable, ce qui peut influer sur les temps de traitement et de réponse de NAT, et donc sur le temps de passation global.

10 http://camstudio.org/

11 http://www.piriform.com/CCleaner

12 Tous les logiciels cités sont développés sous licence libre et disponibles gratuitement sur le Web.

- 16 -

Les sujets disposaient, à l'emplacement du Bureau (Desktop) du PC, d'un dossier à leur nom contenant trois fichiers nommés en fonction de la tâche à réaliser ; par exemple :

"1) Transcrire en Intégral - Numérique"

Ces fichiers ne comportaient aucune expression scientifique, mais quelques majuscules et quelques chiffres, caractères codés spécifiquement en braille. En annexe C sont reportées les deux interfaces (originale et corrigée) testées, ainsi que les deux configurations système du matériel informatique utilisé.

2.1.3. Procédure

Chaque participant était invité à accomplir trois tâches à l'aide de NAT. Ces tâches, représentatives de situations de transcription de texte simple, font aussi appel à la majorité des fonctionnalités proposées par le logiciel. Les consignes sont présentées en annexe D. Aucune information n'était délivrée concernant le fonctionnement de l'application. Un premier groupe de cinq sujets réalisait les trois tâches, d'abord sur interface native et sur PC 1, puis sur interface corrigée et PC 2. Le dessin technique et l'implémentation de cette interface corrigée découlaient des remarques et difficultés rencontrées par ce groupe sur l'interface native, ainsi que de l'inspection analytique réalisée en parallèle des tests utilisateurs. Pour contrebalancer un éventuel effet d'apprentissage, un second groupe de cinq participants réalisait les mêmes tâches, d'abord sur interface corrigée, puis sur interface native, et sur le même PC 2. Si les sujets étaient informés du fait que les traces du pointeur et leurs commentaires seraient enregistrés, en revanche aucune consigne ne leur était donnée concernant les temps de réalisation ou les verbalisations.

L'analyse des enregistrements a permis le décompte, pour chaque tâche et chaque sujet :

- du temps de passation ;

- des clics de pointeur et des étapes parcourues ;

- des fausses manipulations et des erreurs occasionnées ;

- des remarques « négatives » et des remarques « positives ».

Pour préciser ces différentes variables, nous allons prendre pour exemple le déroulement de la troisième tâche. Celle-ci est constituée de quatre étapes :

- indiquer au logiciel d'inverser le sens de traitement (dé-transcrire, du braille vers le noir) ;

- choisir le fichier braille à traiter ;

- choisir la configuration prévue (« dé-transcription ») ;

- lancer le traitement ;

- ouvrir l'éditeur.

Pratiquement, cela signifie que dans le cas où le sujet oublie d'inverser le sens et n'active pas la bonne configuration avant de lancer le traitement, il effectue alors trois étapes (« fichier », « configuration » et « transcrire ») mais aussi deux fausses manipulations (« configuration » et « transcrire », qui l'éloignent de son but) et une erreur (il s'apprête à écraser le fichier braille qui lui sert de fichier source, donc à détruire son travail). Par ailleurs, on notera que les mêmes étapes, en fonction de la tâche demandée, ne nécessitent pas le même nombre de clics minimums. Ainsi, pour la tâche 2, l'étape « transcrire » en abrégé réclame plus de précisions, donc de clics, de la part de l'utilisateur que pour les tâches 1 et 3. En résumé, certaines étapes sont considérées comme des fausses manipulations, dont certaines peuvent conduire à des erreurs ; et toutes les étapes ne comportent pas le même nombre d'opérations d'une tâche à l'autre, ainsi qu'au sein d'une même tâche. Les données optimales pour la réalisation de chaque tâche sont regroupées dans le tableau 2.

Tableau 2. Clics et étapes strictement nécessaires à la réalisation des tâches proposées.

Tâche n°	Clics	Étapes
Moyenne					9,33		4,66

- 17 -

1)

	3	Choisir fichier
	2	Configuration
	1	Transcrire
	2	Ouvrir fichier (numérique)
Total :	8	4
2)	3	Choisir fichier
	2	Configuration
	3	Transcrire
	1	Éditer
	2	Embosser
Total :	11	5
3)	1	Inverser le sens
	3	Choisir fichier
	2	Configuration
	1	Dé-transcrire
	2	Éditer
Total :	9	5

2.2. Résultats

- 18 -

Pour les sept variables dépendantes (issues de l'analyse de l'enregistrement des tâches réalisées par les deux groupes de cinq sujets sur les deux versions de l'application), nous faisons donc l'hypothèse que la moyenne des scores obtenus avec l'interface corrigée sera meilleure que celle mesurée sur l'interface originale. Par ailleurs, ces scores devraient être meilleurs lors de la seconde présentation du logiciel, puisque le sujet aura bénéficié d'un apprentissage au cours de la première présentation. Nous appellerons « sens 1) » la présentation de l'interface originale (iO) suivie de l'interface corrigée (iC), et « sens 2) » le sens inverse (iC vers iO).

L'expérience est de type « split-plot », avec un facteur de groupe binaire G (Groupe) à cinq sujets (S), et un facteur intra-sujet I (Interface) à deux modalités. Le plan expérimental peut alors s'écrire :

S5 < G2 > * I2

Une analyse de la variance (ANOVA) a permis de déterminer si les résultats obtenus étaient significatifs¹³.

13 Les figures qui suivent sont décrites de façon succincte en « texte alternatif », par respect pour les règles d'accessibilité des documents numériques.

- 19 -

2.2.1. Temps de passation

Les temps relevés pour la réussite des trois tâches sont toujours plus courts pour la seconde interface présentée. Cependant, cette différence est moins grande quand la seconde interface est l'interface originale. Dans le sens 1), les participants sont 2,21 fois plus rapides sur l'interface corrigée ; dans le sens 2), ils sont 1,37 fois plus rapides sur l'interface originale (cf. figure 1).

On trouve ici un effet significatif de l'interface :

[I] F(1,8) = 38,86 ; p < 0,0001

- 20 -

2.2.2. Nombre de clics

Les utilisateurs effectuent moins de clics sur l'interface corrigée, quel que soit le sens de passation (cf. figure 2). En moyenne, dans le sens 1), les utilisateurs effectuent 2,19 fois moins de clics sur la seconde interface présentée pour réaliser leurs tâches, et 1,11 fois plus dans le sens 2).

Cet effet est significatif :

[I] F(1,8) = 15,38 ; p < 0,005

Il y a aussi interaction entre la variable « groupe » et la modalité d'interface :

[I*G] F(1,8) = 16,95 ; p < 0,004

- 21 -

2.2.3. Nombre d'étapes

Les sujets effectuent moins d'étapes sur la seconde interface, quel que soit le sens de présentation, mais cette différence est plus forte lorsque l'interface corrigée est présentée en premier. En moyenne, dans le sens 1), les utilisateurs effectuent 1,69 fois moins d'étapes sur l'interface corrigée pour réaliser leurs tâches. Dans le sens 2), ils effectuent 1,02 fois moins d'étapes sur l'interface originale (cf. figure 3).

L'effet est significatif :

[I] F(1,8) = 38,69 ; p < 0,0001

et il y a interaction entre le groupe et l'interface :

[I*G] F(1,8) = 22,02 ; p < 0,003

- 22 -

2.2.4. Nombre de fausses manipulations

En moyenne, les sujets effectuent moins de fausses manipulations pour la seconde interface présentée. Cet effet est plus faible lorsque celle-ci est l'interface originale (cf. figure 4).

On trouve un effet significatif de l'interface :

[I] F(1,8) = 9,755 ; p < 0,02

D'autre part, il existe un effet du groupe :

[G] F(1,8) = 6,584 ; p < 0,04

et il y a, de plus, interaction entre le groupe et l'interface :

[I*G] F(1,8) = 22,02 ; p < 0,04

- 23 -

2.2.5. Nombre d'erreurs

En moyenne, l'utilisateur effectue moins d'erreurs sur l'interface corrigée, quel que soit le sens de passation (cf. figure 5).

On note un effet tendanciel de l'interface :

[I] F(1,8) = 9,755 ; p < 0,06

Il y a aussi interaction entre le groupe et l'interface :

[I*G] F(1,8) = 22,02 ; p < 0,02

- 24 -

2.2.6. Nombre de remarques négatives

Les sujets verbalisent, en moyenne, moins de remarques à connotation négative lors du travail sur interface corrigée que sur interface originale, et ce, quel que soit le sens de présentation (cf. figure 6).

On trouve un effet significatif de l'interface :

[I] F(1,8) = 37,04 ; p < 0,0001

D'autre part, il existe un effet du groupe :

[G] F(1,8) = 7,58 ; p < 0,03

et il y a interaction entre le groupe et l'interface :

[I*G] F(1,8) = 52,84 ; p < 0,0001

- 25 -

2.2.7. Nombre de remarques positives

Les verbalisations à connotations positives sont plus nombreuses, en moyenne, lors de la première présentation du logiciel. Cependant, l'interface corrigée recueille moins de remarques de ce type que celle originale, lors de la découverte de l'application.

Cet effet est significatif :

[I] F(1,8) = 13,12 ; p < 0,008

2.2.8. Données subjectives et qualitatives

Tous les sujets ont pu mener à bien leurs différentes tâches avec les deux versions de l'application, et tous se sont dits volontaires pour une utilisation future du logiciel dans le cadre de leurs activités. Un seul participant a estimé l'interface originale mieux conçue, plus intuitive et plus agréable (en seconde présentation) que celle corrigée (testée en premier). Les verbalisations et commentaires ont été utilisés pour compléter les recommandations ergonomiques délivrées à la suite des deux séries de passation.

- 26 -