Memoire Online - évaluation du portail intranet du MFP

L'évaluation de l'intranet, difficile certes mais nécessaire, doit être menée selon des principes et des méthodes bien précis.

Aussi, les étapes de l'action de l'évaluation doivent être clairement définies pour mieux réussir cette entreprise.

IV - Méthodologie de recherche :

Ce paragraphe sera consacré à la présentation des objectifs et questions de recherche, à l'envergure de la recherche, aux définitions opérationnelles, à la méthode de recherche retenue et enfin aux instruments de collecte de données utilisés ainsi qu'à leur validité.

Objectif n° 1 : Evaluer les contenus et les fonctionnalités du Portail intranet du Ministère des Finances et de la Privatisation.

On vise par cet objectif de vérifier le niveau de qualité des contenus et des fonctionnalités du Portail par le biais d'une grille d'évaluation élaborée à cet effet en se référant aux conventions et aux pratiques en usage.

Atteindre ce premier objectif passe par la réponse aux questions de recherche suivantes :

Dans le cadre de ce deuxième objectif on va étudier le niveau de satisfaction des usagers du Portail en s'adressant aux utilisateurs réels du portail.

L'étude de satisfaction passe par la réponse aux questions de recherche suivantes :

Objectif n° 3 : Proposer les éventuelles améliorations en vue de l'optimisation de l'utilisation du Portail intranet.

On va formuler, suite au croisement des résultats des études précédentes, des propositions susceptibles d'apporter les éventuelles améliorations de ce Portail afin d'en optimiser usage.

Cet objectif sera atteint à travers la réponse aux questions de recherche suivantes :

Afin de réaliser les objectifs cités précédemment et répondre aux questions de recherche, nous avons utilisé une évaluation experte et une enquête de satisfaction.

En fait, notre travail se veut une évaluation orientée utilisateur, en analysant le point de vue de celui-ci, qui est l'acteur central de la réussite de l'intranet et ce, à travers une étude de satisfaction.

Cependant, l'étude de satisfaction est imprégnée de subjectivité qu'il convient de corriger par le recours à une évaluation experte.

En effet, Doll et Torkzadeh (1988) cités par F. Deltour³⁹ définissent la satisfaction comme étant l'attitude affective envers une application informatisée spécifique de la part de quelqu'un qui interagit directement avec l'application. Alors que l'évaluation experte est une évaluation de la conformité d'une interface en regard des principes ergonomiques de base (ou principes d'utilisabilité)⁴⁰. C'est pourquoi, nous avons fait recours en plus de l'étude de satisfaction à une évaluation experte pour éviter les pièges de la subjectivité et des goûts personnels des utilisateurs.

Pour mener notre étude nous avons adopté, pour l'évaluation experte une grille d'évaluation qui définit clairement et de façon précise les critères d'analyse du Portail intranet.

Quant à l'étude de satisfaction, elle sera menée par une enquête sur le terrain auprès des utilisateurs du portail.

⁴⁰ AFCHARD, Lionel. Mise en oeuvre d'une démarche ergonomique pour la conception d'un Site Intranet : Mémoire pour l'obtention d'un D.E.S.S en psychologie du travail et psychologie sociale. Université de Toulouse, 2001-2002. Disponible au : http://pjd31.free.fr/rapportFTlionel%20afchard.pdf (Consulté le 07-01-06)

Pour entrer en contact direct avec l'intranet du Ministère et connaître davantage les contenus et les fonctionnalités qu'il offre nous avons préféré commencer par la réalisation de l'étude experte. En plus, ceci nous permettra d'élaborer un questionnaire renfermant tous les aspects sur lesquels peut porter l'étude de satisfaction des utilisateurs.

Dans cette partie nous allons traiter des instruments de collecte de données auxquels nous avons recouru pour la réalisation de ce travail. Dans un premier temps nous exposerons les deux instruments utilisés et dans un deuxième nous traiterons de la validité et du test desdits instruments.

Afin de confectionner l'outil adéquat pour répondre au premier objectif de la recherche qui est l'étude et l'évaluation des contenus et fonctionnalités du portail, différentes grilles ont été consultées.

En général, les grilles⁴¹ d'évaluation consultées sont structurées selon cinq parties distinctes, à savoir :

- toutes les grilles consultées concernent l'évaluation des sites web, par conséquent certaines parties telle que l'accessibilité ne sont pas utiles dans notre cas ;

- toutes les grilles ont pour objectif final d'attribuer une note au site évalué en fonction d'un barème de notation pour chaque critère. Dans notre cas l'objectif étant de déterminer de façon précise les aspects qui nécessitent une amélioration.

Dans cette perspective, nous nous sommes proposés de construire notre propre grille
d'évaluation tenant compte de la structure générale des grilles d'évaluation et prenant

en compte les critères cités par le livre de Michel GERMAIN : Conduite de projet intranet (2004).

A ce propos, ce document représente la source principale sur laquelle nous nous sommes basés pour la réalisation de notre grille. Cet ouvrage est le deuxième du genre écrit par Michel GERMAIN qui est un auteur de référence dans ce domaine⁴².

La grille a été structurée de manière à permettre de répondre aux questions de recherche que nous nous sommes posés pour atteindre notre premier objectif de recherche.

- mise à jour des contenus et traitement de l'actualité ; - visualisation des contenus ; et

Afin de répondre à notre 2^ème objectif de recherche et étudier la satisfaction des utilisateurs du Maliyanet, nous avons mené une enquête auprès de ceux-ci. Le recours au questionnaire comme outil de collecte des données est justifié d'une part, par la taille de la population visée par cette enquête qui est estimée à 4637 fonctionnaires et par la difficulté d'atteindre les individus de cette population vue la dispersion géographique des directions du MFP.

La réalisation du questionnaire s'est déroulée selon les quatre étapes suivantes :

1. le choix des thèmes en fonction des questions de recherche relatives à l'objectif de l'étude du degré de satisfaction des utilisateurs ;

⁴² Michel Germain est un consultant spécialisé depuis 1996 dans les Technologies de l'Information et de la Communication à Arctus qui intervient dans plusieurs champs d'activités liées au déploiement des technologies de l'information et de la communication : ( www.arctus.com)

Afin de mieux répondre aux questions de recherche relatives au 2^ème objectif visé par ce travail, nous avons structuré le questionnaire en quatre principaux axes :

> identification des répondants : connaître la Direction et la catégorie de l'utilisateur ;

> fréquentation du Portail : déterminer les taux de fréquentation et les moments de connexion ;

> satisfaction des usagers : connaître le degré de satisfaction par rapport aux rubriques et sites consultés et la satisfaction par rapport au portail à travers les huit dimensions constitutives de la satisfaction citées par François Deltour⁴⁴ :

- utilité des contenus (valeur des informations aux yeux des utilisateurs) ; - complétude des contenus (degré suffisant de détail et exhaustivité) ;

- Facilité de la recherche (moyens satisfaisants pour rechercher des informations nouvelles) ;

- Qualités techniques (ensemble des conditions techniques d'accès aux différents contenus de l'intranet) ;

- Design de l'intranet (richesse et convivialité de la présentation) ; et - Sa facilité d'utilisation (simplicité de la navigation).

> Entraves, attentes et propositions des utilisateurs : connaître les entraves à l'utilisation ainsi que les attentes et les propositions des utilisateurs.

Les questions retenues pour ce questionnaire sont fermées afin de faciliter le traitement des données. Des réponses aux choix sont proposées aux répondants avec des cases à cocher pour leurs éviter au maximum de formuler des réponses par eux même, sauf pour ce qui est des attentes et suggestions.

Une échelle de type Lickert à cinq modalités allant de « pas du tout satisfait » à « très satisfait » a été utilisée pour mesurer la satisfaction des utilisateurs vis-à-vis des rubriques et sites offerts par Maliyanet.

⁴³ Cette étape a été réalisée grâce à l'aide précieuse de Mr Diawara Joseph, un étudiant de notre promotion brillant en informatique et conception des sites web dynamiques.

Les huit dimensions de la satisfaction illustrées chacune par des items (deux ou trois) sont proposées aux répondants sur une échelle de type Lickert à cinq modalités allant de « pas du tout d'accord » à « tout à fait d'accord ».

Comme il a été signalé plus haut, la population susceptible d'utiliser le Portail Maliyanet est estimée à 4637. Elle est par conséquent notre population, vu que nous procédons par une diffusion en ligne du questionnaire afin de donner à tous les membres de cette population la possibilité de s'exprimer sur les aspects convoités.

La validité implique que toute méthode de recherche doit démontrer une cohérence dans la méthode empruntée : cohérence entre la problématique, les objectifs de recherche et les moyens utilisés pour mener à terme l'étude ciblée⁴⁵.

Pour notre cas, le choix de la grille d'évaluation et du questionnaire semble être convenable et en parfaite cohérence avec la problématique et les objectifs visés.

La confrontation de ces deux instruments avec les questions de recherche permet de mettre en évidence cette cohérence, et par suite de prouver la validité des instruments utilisés.

Pour ce qui est du test, le questionnaire a été testé auprès de 5 étudiants de la 4ième année de l'ESI et un étudiant du cycle supérieur qui est un fonctionnaire du Ministère des Finances et de la Privatisation afin de lever l'ambiguïté et de rectifier la formulation des items.

Nous avons réalisé ce test au sein de l'ESI, le répondant devait remplir le questionnaire et le valider à travers un PC portable en notant sur une feuille de papier toutes les remarques et difficultés rencontrées.

Les remarques que nous avons eues lors de ce test nous ont permis de porter quelques rectifications au questionnaire.

⁴⁵ SAADANI, Lalthoum. Méthodes de recherche. Cours de 3^ème année. 2004/2005.

Répondants au test	Remarques reçues	Observations
Etudiante ESI	- Que voulez vous dire par « aide dynamique » ? - « totalement facultatif » et « accessoire la plupart du temps » signifient pour moi la même chose. - Pour les sites du Portail il fallait développer les sigles, à moins que les fonctionnaires les connaissent.	- cette proposition a été remplacée par « Aide sur toutes les fonctionnalités du site » - - sigles familiers au personnel du MFP
Etudiant ESI	- Je ne comprends pas les sigles utilisés pour la direction ; - Pour la satisfaction, trois niveaux sont suffisants.	- sigles familiers au personnel du MFP - une échelle à 5 niveaux permet au répondant de mieux s'exprimer
Etudiante ESI	- Il demande tout de même quelques minutes pour le remplir !
Etudiante ESI	- Les deux propositions : « Les informations disponibles répondent à mes besoins » et « les informations proposées sont très pertinentes » veulent dire la même chose.	- Les deux propositions sont deux aspects différents de l'utilité.
Etudiant- Fonctionnaire du MFP	- Le moment de consultation n'est pas forcément le matin ou l'après midi.	- La proposition « Toute la journée » a été substitué par la prposition « Au besoin », dans la question sur le moment de consultation.

Tableau 4 : Listes des remarques reçues lors de la phase test du questionnaire 5 - Déroulement du travail :

Dans cette partie nous présenterons succinctement les principales étapes pratiques que nous avons entamées lors de la réalisation de ce travail.

Nous parlerons ainsi de la phase d'investigation exploratoire, de la constitution de la bibliographie et du déroulement : de la pré-enquête, de l'évaluation experte et enfin de l'enquête de satisfaction.

L'idée de réaliser un travail d'évaluation sur l 'i ntranet du MFP est née à la suite du stage de la 4^ème année effectué au sein de la cellule de communication de la DAAG. Le fait d'approcher une technologie particulièrement récente et attrayante n'était pas pour rien dans ce choix.

Une prise de contact avec le Chef du service SGCP a eu lieu afin d'avoir l'accord de son Administration et pouvoir entamer ce travail.

Depuis lors, nous avons eu une série d'entretiens et de réunions -presque hebdomadaires- avec notre interlocuteur afin de mieux appréhender l'outil convoité, finaliser la problématique et arrêter les objectifs de recherche.

On peut noter à cet égard l'ouverture d'esprit de notre interlocuteur et l'importance qu'il a manifesté à l'égard de ce travail. Pour cela, une série de documents⁴⁶ nous a été communiquée et une présentation de Maliyanet, en salle de projection, nous a été réservée.

Dès le début nous nous sommes rendus compte de la rareté des sources bibliographiques relatives aux intranets notamment en ce qui concerne leur évaluation, vu le jeune âge de cette technologie.

Notre recherche bibliographique s'est donc concentrée sur le web ; ainsi nous avons pu repérer un ensemble de sources relativement récentes qui traitent en majorité de cas pratiques.

Pour avoir des données statistiques sur les usagers réels de l'intranet, nous avons réalisé une enquête préliminaire (cf. Annexe n°1 : Note de présentation) auprès des chefs de services informatiques dans les différentes directions.

Les informations ont été sollicitées par e-mail, le Chef de service SGCP s'est chargé de leur transmettre le formulaire censé recueillir les données recherchées. Nous signalons à cet égard que toutes les directions n'ont pas répondu à notre requête.

Cependant les résultats reçus ont été utilisés pour estimer les effectifs des utilisateurs réels au niveau de chaque direction et au niveau du MFP (cf. Tableau 2 : Taux de pénétration du réseau intranet dans les directions du MFP, page : 8).

Après avoir achevé et validé la grille d'évaluation, nous avons convenu d'un rendez-vous avec le webmaster pour évaluer Maliyanet à travers cet outil.

Le jour de l'évaluation, nous nous sommes rendus dans le bureau du chef de Service SGCP pour passer en revue tous les aspects retenus dans la grille. On peut noter que durant cette opération, nous nous sommes contentés de recueillir les informations alors que c'est le webmaster qui s'est chargé des manipulations informatiques.

⁴⁶ Documents qui présentent Maliyanet, sa mise en place, les procédures de mise à jour, des données statistiques, les enquêtes et sondages déjà effectués, etc.

Après avoir testé le questionnaire -test de validité et test technique- nous l'avons remis au webmaster en vue de sa mise en ligne dans le réseau intranet du MFP (Maliyanet).

Une annonce a été insérée dans la page d'accueil du Maliyanet (cf. Figure n°3 : Ecran d'accueil avec l'annonce du sondage). Comme on peut le constater cette annonce invite les Intranautes à participer à l'évaluation, les informe de la période de disponibilité en ligne du sondage et offre un lien hypertexte qui ouvre directement sur le questionnaire et sa note de présentation.

Le sondage a été mis en ligne du 05 Avril au 28 Avril 2006. Néanmoins, nous signalons à ce propos que cette période a coïncidé avec les vacances de la fête de l'Aïd Mouloud.

Pour limiter le cadre conceptuel de notre étude et éviter toute ambiguïté nous proposons de définir les termes clés de ce travail. Ainsi définissons-nous les termes Evaluation, Portail et intranet. Les autre termes et concepts nécessitant une définition feront l'objet d'un glossaire.

Selon Ronald R. POWELL « Evaluative or evaluation research is a specific type of applied research whose primary goal is not the discovery of knowledge but rat her a testing of the application of knowledge within a specific pro gram or project⁴⁷ ».

L'évaluation est donc un type spécifique de recherches pratiques qui a pour objectif principal de tester l'application de la connaissance au sein d'un programme ou un projet spécifique.

La littérature offre plusieurs définitions pour ce concept. Pour ce travail nous nous contentons de la définition de Jean-Louis Bénard.

Nous retenons donc que la vocation du portail est de proposer un point d'accès unique à un ensemble de contenus et d'applications à caractère analytique ou collaboratif en facilitant l'accès à des données structurées (bases de données) et non structurées (documents textes) indépendamment de leur format et de leur localisation⁴⁸.

Pour ce qui est des caractéristiques principales du portail, elles sont résumées comme suit :

D'une manière générale, L'intranet désigne la transposition des standards, des protocoles et des outils en vigueur dans l'Internet public au sein des réseaux locaux privés d'entreprise⁵⁰.

La littérature recense les principales fonctionnalités associées à l'intranet qui peuvent être résumées dans le tableau suivant⁵¹ :

⁴⁷ POWELL, Ronald R. Basic research methods for librarians. New jersey : Ablex Publishing Corporation, 1985, p.1 74.

⁴⁸ BELYAGOU, Ilham. Etude du contenu du portail du réseau national de l'Information Industrielle Marocaine (RNIIM) : cas des entreprises du secteur du textile et de l'habillement à la wilaya de Rabat : proposition de recherche. Rabat : ESI, 2005, p. 31

⁵⁰ DELTOUR, François, ROUS SEL, Caroline, TIXIER, Julie. Accompagner la gestion des connaissances par Intranet : pour une politique RH contextualisée, Disponible au

Fonctionnalités de l'intranet	Exemple de support
Communication interpersonnelle	Messagerie et courrier électroniques Forum de discussion
Accès à l'information	Pages HTML, bases documentaires
Coordination	Agenda électronique
Collaboration	Visio-confèrence, édition conjointe documents	de
Automatisation des processus administratifs	Workflow

L'intranet est donc un réseau interne d'une organisation basé sur les technologies de l'Internet. C'est un outil d'information, de communication et de collaboration. Il permet la circulation rapide de l'information, facilite la communication et contribue à l'optimisation de la coordination et la collaboration entre les usagers.

La présente recherche prend en charge tous les utilisateurs du Portail intranet du MFP qui représentent l'ensemble le personnel du MFP ayant accès audit portail (cf. Population : page 24). Les utilisateurs sont en général de catégories échelle 8 et plus et font partie du personnel des services centraux du MFP.

Quant au positionnement de notre travail, nous adoptons le modèle de François Deltour qui classe les approches d'évaluation pouvant être adoptées selon quatre clés de lecture⁵²:

Clés de lecture :
Moment de l'évaluation	pré-implantation f- global	post-implantation
		-*
Perspective de l'évaluation	apport au fonctionnement de l'organisation	apport à la capacité stratégique
Degré d'agrégation	une technologie identifiée	des technologies agrégées
Niveau d'analyse	Organisation f-----* groupe f-----* processus f * individu f-----* technologie

Tableau 6 : Clés de lecture pour l'évaluation des systèmes d'information

Notre recherche est une approche d'évaluation postérieure à la mise en place d'un
intranet, dans une perspective d'apport au fonctionnement de l'organisation, sur une

technologie bien identifiée l'intranet -Maliyanet- à un niveau individuel (l'utilisateur) d'une part et au niveau de la technologie (l'intranet) d'autre part.

- étant donné la nature de l'étude d'évaluation, les résultats de cette étude concerne uniquement le portail Intrant du MFP et sont valides juste pour le moment de la réalisation de ce travail ;

- nous aurions souhaité évaluer le portail par la grille d'évaluation dans des conditions plus avantageuses. En effet, nous aurions préféré réaliser cette opération à la discrétion du webmaster afin de pouvoir manipuler l'outil par nous même et prendre tout le temps nécessaire. Mais malgré cela, sa présence avec nous a permis de tirer profit de son expérience dans le domaine ;

- pour ce qui est du questionnaire, certaines questions étaient finement nuancées, notamment celles relatives aux huit dimensions de la satisfaction ce qui a, peut être occasionné des difficultés pour certains utilisateurs pour pouvoir y répondre ;

- la contrainte du temps a, pour sa part, constitué une limite quant à la réalisation de ce travail. Nous aurions pu pousser davantage la réflexion et aboutir à des résultats plus satisfaisants (un test d'utilisabilité par exemple) ;

Enfin, nous signalons que le nombre faible de réponses à l'enquête en ligne (132 réponses) sur lequel nous avons fondé une partie de nos recommandations, constitue à notre avis une limite à ce travail, même si toutes les précautions possibles ont été prises lors de la phase analyse des résultats.

évaluation du portail intranet du MFP

Conclusion :

IV - Méthodologie de recherche :