Stratégies d'optimisation de requêtes SQL dans un écosystème Hadoop

• REMERCIEMENTS
  
• 1 RÉSUMÉ
  
• LISTE DES FIGURES ET DES TABLEAUX
  
• 2 INTRODUCTION
  
  • 2.1 Entrepôt et Bases de Données Relationnelles
    
  • 2.2 Entrepôt et Bases de Données Big Data
    
  • 2.3 Problématique
    
• 3 HADOOP
  
  • 3.1 Histoire
    
  • 3.2 Le composant de stockage (HDFS)
    
  • 3.3 Le composant de traitement (MapReduce)
    
    • 3.3.1 Architecture Hadoop v1
      
    • 3.3.2 Architecture Hadoop v2
      
    • 3.3.3 Le paradigme MapReduce
      
  • 3.4 Discussion
    
    • 3.4.1 Du point de vue HDFS
      
    • 3.4.2 Du point de vue YARN
      
• 4 SQL SUR HADOOP
  
  • 4.1 Hive
    
    • 4.1.1 Histoire
      
    • 4.1.2 Architecture
      
  • 4.2 La commande « EXPLAIN »
    
    • 4.2.1 Explication d'une projection simple
      
    • 4.2.2 Explication d'une projection avec une restriction
      
    • 4.2.3 Explication d'une projection avec une restriction et une agrégation
      
    • 4.2.4 Explication d'une jointure entre deux tables
      
  • 4.3 Discussion
    
    • 4.3.1 Requête avec une restriction
      
    • 4.3.2 Requête avec une agrégation
      
    • 4.3.3 Requête avec une jointure et une agrégation
      
• 5 OPTIMISATION DU SQL SUR HADOOP
  
  • 5.1 Optimisation par le réglage ou « tuning »
    
    • 5.1.1 Utiliser Tez
      
    • 5.1.2 Contrôler la taille des fichiers manipulés
      
    • 5.1.3 Agréger en amont
      
    • 5.1.4 Réaliser un « benchmark » significatif
      
  • 5.2 Optimisation par la conception ou « design »
    
    • 5.2.1 Utiliser les tables partitionnées
      
    • 5.2.2 Optimiser les jointures
      
  • 5.3 Discussion
    
• 6 CONCLUSION
  
• 7 BIBLIOGRAPHIE
  
• 8 ANNEXES
  
  • 8.1 Hadoop
    
    • 8.1.1 Partition & Sort détaillé
      
    • 8.1.2 Définition de la distance entre deux noeuds
      
  • 8.2 SQL sur Hadoop
    
    • 8.2.1 Gérer manuellement le partitionnement dans une requête
      
    • 8.2.2 Comprendre la sérialisation sous Hadoop
      
  • 8.3 Optimisation du SQL sur Hadoop
    
    • 8.3.1 Exemple de WordCount avec Tez
      
    • 8.3.2 Grouper les splits avec Tez