Traitement et exploration du fichier Log du serveur web pour l'extraction des connaissances

Chapitre 5 : Etude technique

Introduction :

Dans ce chapitre, nous proposons plusieurs choix techniques pour la réalisation de notre travail, ensuite nous présentons les différentes étapes nécessaires à l'implémentation de notre conception comme (le prétraitement, le nettoyage, l'exploration et l'analyse du fichier log) et enfin nous décrivons l'environnement de développement en illustrant quelques interfaces de notre logiciel.

1-Les étapes de l'implémentation :

Fichier Log

Table d'une BDD

Connexion BD

Nettoyage des graphiques, image

Statistiques

Transformation

Exécuter des requêtes

t

Exploration

Prétraitement

Nettoyage

Utiliser LOG ANALYZER

Analyse

Figure 15 : la démarche adoptée.

Figure 16 : Analyse « manuelle » du fichier log.

2- Le prétraitement des données :

2.1 Chargement du fichier Log et transformation en une Table d'une BDD :

La première étape d'un processus WUM se compose principalement de deux types de tâches :

- Tâches classiques de prétraitement : fusion des ?chiers logs web, nettoyage et structuration de données.

- Tâches avancées de prétraitement : stockage des données structurées dans une base de données (notée BD par la suite), généralisation et agrégation des données.

Le fichier LOG est un fichier Texte appelé aussi journal des connexions, qui conserve les traces des requêtes et des opérations traitées par le serveur. Généralement il est de la forme suivante:

Figure 17 : Un fichier LOG avant le prétraitement.

Dans cette étape, les données structurées sont enregistrées sous une forme persistante, généralement, dans une BD.

- Les différent champs de ce fichier vont être, importé dans une base données déterminée comme suit :

Figure 18 : Un fichier LOG dans une BD.

Le fichier log se transforme en une table composée de plusieurs colonnes, chaque colonne correspond à un champ spécifié du fichier LOG :

· La colonne « hote_client » correspond aux adresses IP des visiteurs

· La colonne « login_client » correspond au Nom du serveur utilisé par le visiteur

· La colonne « utilisateur_client » correspond au Nom de l'utilisateur (en cas d'accès par mot de passe).

· La colonne « date_et_heure » correspond à la date d'accès

· La colonne « méthode » correspond à la méthode utilisée (GET/POST)

· La colonne « url_des_pages » correspond au URL demandé

· La colonne « protocole » correspond au protocole utilisé

· La colonne « code_de_retour »

· La colonne « taille_chargé » correspond à la taille chargée.