8.3 Optimisation du
SQL sur Hadoop
8.3.1 Exemple de WordCount avec Tez
Voici le lien vers le code source d'un exemple
« WordCount » pour Tez :
https://github.com/apache/tez/blob/master/tez-examples/src/main/java/org/apache/tez/examples/WordCount.java
8.3.2 Grouper les splits avec Tez
Voici une illustration d'une table contenant beaucoup de petits
fichiers.
hdfsdfs -ls /apps/hive/warehouse/z_database1.db/table1 | grep wc -l13102
L'usage de Tez, permettra de constituer un ensemble de splits
pointant chacun vers un ensemble de bloc.
Dans cet exemple, deux containers ont pu être
créés au lieu des 13102.
--------------------------------------------------------------------------------
VERTICES STATUS TOTAL COMPLETED RUNNING PENDING
FAILED KILLED
--------------------------------------------------------------------------------
Map 1 RUNNING 2 0
2 0 0 0
Reducer 2 INITED 1 0 0 1
0 0
Reducer 3 INITED 1 0 0 1
0 0
--------------------------------------------------------------------------------
VERTICES: 00/03 [>>--------------------------] 0%
ELAPSED TIME: xx.xx s
--------------------------------------------------------------------------------
| 
