Apache Spark est l’un des logiciels libres les plus importants pour le traitement et l’analyse des données massives. Durant cet atelier, nous vous enseignerons l’utilisation d’Apache Spark avec Python (PySpark) pour analyser des jeux de données trop volumineux pour être traités par un seul ordinateur.

Avec PySpark, vous apprendrez à importer vos données, à utiliser les fonctions pour transformer, réduire et compiler vos données, et à produire des algorithmes parallèles pouvant s’exécuter sur des grappes de calcul telles que celles offertes par Calcul Québec et Calcul Canada.

Inscription

• Participant académique : 10$
• Participant non-académique : 200$

Prérequis

Avoir une connaissance de base de la ligne de commande Unix et Python. Référez-vous aux formations: Ligne de commande Unix [UNX101] et Python [PYT101]

Plan de cours

9h à 12h

• 1. Introduction aux données massives et à Map-Reduce;
• 2. Presentation d’Apache Spark;
• 3. Importation de données avec PySpark;
• 4. Organisation des données en clé-valeur;
• 5. Travailler avec des données structurées (PySpark SQL);
• 6. Développement d’algorithmes parallèles.

13h30 à 15h (Discord)

• Période de questions
• Exercices et aide supplémentaire

Formateur

Lucas Nogueira, analyste en calcul informatique de pointe à Calcul Québec.

Langue du cours

Français

Prérequis techniques

Nous utiliserons Zoom comme plateforme. Comme il s'agit d'un atelier pratique, il est utile d'avoir deux écrans afin de pouvoir afficher l'écran de l'instructeur d'un côté et votre propre écran de l'autre.

Nous utiliserons aussi l'interface Jupyter Lab. Assurez-vous d'avoir un navigateur Web moderne tel que Google Chrome, Firefox, Edge ou Safari.

Contact

Pour toutes questions, écrivez-nous à formation@calculquebec.ca.