Accueil > Base de données et Décisionnel - BI

 > BigData, architecture et technologies

null

Base de données et Décisionnel - BI

BigData, architecture et technologies

Objectif

Comprendre les concepts du BigData et connaître les technologies associées.

Durée : 2 jours (14 heures)

Dates :
-19/01/23
-20/02/23
-17/04/23
-03/07/23
-28/08/23
-04/09/23
-09/10/23
-02/11/23
-27/11/23

Bonne culture générale sur les systèmes d'information.

Programme de la formation

Introduction

  • Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l'eau (nouvelles technologies et nouveaux usages)
  • Domaines concernés : recherche scientifique, médical, e-commerce, sécurité…
  • Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
  • Définition de ETL : Extract Transform Load
  • Les acteurs aujourd'hui

Stockage

  • Caractéristiques NoSQL :
    • Structure de données proches des utilisateurs, développeurs
    • Données structurées et non structurées, documents, images
  • Fichiers XML, JSON, CSV…
  • Les différents modes et formats de stockage
  • Stockage réparti : réplication, sharping, gossip protocl, hachage
  • Systèmes de fichiers distribués : GFS, HDFS, BigTable…
  • Les bases de données
  • Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB...

Indexation et recherche

  • Moteurs de recherche
  • Principe de fonctionnement
  • Méthodes d'indexation
  • Exemple de Lucene, et mise en oeuvre avec solr
  • Recherche dans les bases de volumes importants
  • Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce…

Calcul et restitution, intégration

  • Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
  • Les produits : langage de calculs statistiques, R Statistics Language
  • Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
  • Zoom sur Hadoop : complémentarité de HDMS et MapReduce

Evolutions

  • Les offres Saas BigData, type Google BigQuery
  • Les limites actuelles. Les avancées annoncées
Menu