Glossary

Concepts d'architecture 

 

 Data Warehouse : entrepôt de données centralisé, structuré et optimisé pour l'analyse (BI, reporting). Données nettoyées et modélisées. 

 Data Lake : stockage massif de données brutes (structurées ou non) dans leur format d'origine, à faible coût. 

 Data Lakehouse : hybride combinant la flexibilité du data lake et les garanties transactionnelles/performances du warehouse (ex : Databricks, Delta Lake). 

 Data Mesh : approche décentralisée où chaque domaine métier possède et expose ses données comme des "produits", avec une gouvernance fédérée. 

 Data Fabric : couche d'intégration unifiée et automatisée (souvent via métadonnées) qui connecte des sources hétérogènes sans les déplacer. 

 Architecture Médaillon : organisation des données en couches Bronze (brut), Silver (nettoyé), Gold (agrégé, prêt pour le métier). Popularisée par Databricks. 

 Data Mart : sous-ensemble d'un warehouse dédié à un domaine métier précis (finance, marketing…). 

 Architecture Lambda : combine un traitement batch et un traitement temps réel en parallèle. 

 Architecture Kappa : tout en streaming, un seul pipeline (simplification de Lambda). 

 ODS (Operational Data Store) : zone intermédiaire contenant des données opérationnelles quasi temps réel, avant le warehouse. 

 

 Modélisation 

 

 Modèle en étoile (Star Schema) : table de faits centrale entourée de tables de dimensions. 

 Modèle en flocon (Snowflake Schema) : variante avec dimensions normalisées. 

 Data Vault : méthode de modélisation (hubs, links, satellites) conçue pour l'historisation et l'auditabilité à grande échelle. 

 SCD (Slowly Changing Dimensions) : techniques pour gérer l'évolution des dimensions dans le temps (Type 1 : écrasement, Type 2 : historisation…). 

 OLTP vs OLAP : transactionnel (écritures rapides, ex : base d'une app) vs analytique (requêtes lourdes en lecture). 

 

 Gouvernance et gestion 

 

 Data Catalogue : inventaire des actifs data avec métadonnées, permettant la découverte et la documentation (ex : DataHub, Collibra, Alation). 

 Data Lineage : traçabilité du parcours d'une donnée, de sa source à sa consommation. 

 Data Governance : ensemble des règles, rôles et processus garantissant qualité, sécurité et conformité des données. 

 MDM (Master Data Management) : gestion des données de référence (clients, produits) pour avoir une version unique de la vérité. 

 Data Quality : mesure et amélioration de la fiabilité des données (complétude, cohérence, fraîcheur). 

 Data Contract : accord formel entre producteur et consommateur de données définissant schéma, SLA et qualité attendue. 

 

 Traitement et pipelines 

 

 ETL / ELT : Extract-Transform-Load vs Extract-Load-Transform (la transformation se fait dans le warehouse, approche moderne). 

 dbt (data build tool) : outil de transformation SQL dans le warehouse (le "T" de ELT), avec versioning, tests et documentation. 

 Apache Spark : moteur de calcul distribué en mémoire pour le traitement de gros volumes (batch et streaming). 

 Apache Kafka : plateforme de streaming distribuée pour l'ingestion et la diffusion d'événements en temps réel. 

 Apache Airflow : orchestrateur de pipelines (DAGs) pour planifier et superviser les workflows data. 

 CDC (Change Data Capture) : capture des modifications d'une base source pour les propager en aval sans tout recharger. 

 Streaming vs Batch : traitement continu au fil de l'eau vs traitement par lots planifiés. 

 Reverse ETL : renvoi des données du warehouse vers les outils opérationnels (CRM, marketing). 

 

 Moteurs de requête et stockage 

 

 Impala : moteur SQL massivement parallèle (MPP) pour requêter directement les données Hadoop/HDFS à faible latence. 

 Presto / Trino : moteur SQL distribué capable de requêter plusieurs sources hétérogènes (fédération). 

 Hive : couche SQL historique au-dessus de Hadoop, orientée batch. 

 HDFS : système de fichiers distribué de Hadoop. 

 Parquet / ORC : formats de fichiers colonnaires optimisés pour l'analytique. 

 Delta Lake / Iceberg / Hudi : formats de tables transactionnels (ACID) au-dessus du data lake. 

 MPP (Massively Parallel Processing) : architecture où les requêtes sont réparties sur plusieurs nœuds (Snowflake, BigQuery, Redshift). 

 

 Divers 

 

 Data Product : jeu de données packagé, documenté et consommable comme un produit (concept central du data mesh). 

 Semantic Layer : couche d'abstraction qui traduit les données techniques en métriques métier cohérentes (ex : "chiffre d'affaires" défini une seule fois). 

 Sandbox / Staging : environnements d'expérimentation ou de préparation avant production. 

 Data Observability : monitoring de la santé des pipelines et des données (fraîcheur, volume, schéma).