Formation dbt : de l’installation au premier modèle

De l’installation à l’exécution de votre premier modèle — avec des commandes prêtes à copier-coller tout du long.

1. Introduction

dbt (Transforme les données de landing à travers staging → intermediate → marts.)dbt — Transforme les données de landing à travers staging → intermediate → marts. (data build tool) permet aux analystes et aux ingénieurs de transformer des données déjà chargées dans un entrepôt, avec de simples requêtes SQL SELECT. dbt prend en charge la tuyauterie — transformer le SQL en tables ou en vues, gérer les dépendances, les tests et la documentation.

2. Prérequis

• Python 3.8+ installé
• Un éditeur de code (VS Code recommandé)
• Un accès à un entrepôt — Snowflake, BigQuery, Postgres, Redshift ou DuckDB (idéal pour les démos en direct, aucun compte cloud nécessaire)
• Git installé (optionnel, recommandé pour le contrôle de version)

# check your python version
python --version

3. Installer dbt

dbt se compose de deux parties : dbt-core (le framework) et un paquet dbt-<adapter> (un connecteur pour votre entrepôt spécifique).

3.1 Créer un environnement virtuel

python -m venv dbt-env
source dbt-env/bin/activate      # Mac/Linux
dbt-env\Scripts\activate         # Windows

3.2 Installer dbt-core et un adaptateur

# Postgres
pip install dbt-core dbt-postgres
 
# Snowflake
pip install dbt-core dbt-snowflake
 
# DuckDB — best for local, zero-setup demos
pip install dbt-core dbt-duckdb

3.3 Vérifier l’installation

dbt --version

Vous devriez voir la version de dbt-core ainsi que l’adaptateur installé.

Core:
  - installed: 1.8.0
  - latest:    1.8.0 - Up to date!

Plugins:
  - postgres: 1.8.0 - Up to date!

4. Mettre en place votre premier projet

4.1 Initialiser un nouveau projet

dbt init my_dbt_project

Cette commande vous demande de nommer le projet, de choisir votre adaptateur et de saisir les identifiants de connexion — stockés dans profiles.yml (généralement dans ~/.dbt/profiles.yml).

4.2 Se placer dans le projet

cd my_dbt_project

4.3 Tester la connexion

dbt debug

Connection:
  ...
  Connection test: [OK connection ok]

All checks passed!

5. Structure du projet

• my_dbt_project
  • dbt_project.yml
  • models
  • seeds
  • snapshots
  • macros
  • tests
  • analyses
  • profiles.yml

6. Créer votre premier modèle

Un modèle est simplement un fichier .sql contenant une requête SELECT. dbt le compile et l’exécute sur votre entrepôt.

6.1 Un modèle simple

models/customers.sql

-- models/customers.sql
select
    id as customer_id,
    first_name,
    last_name,
    email,
    created_at
from raw.customers
where email is not null

6.2 Charger des données d’exemple comme seed (optionnel)

Ajoutez un CSV dans seeds/ (p. ex. seeds/raw_customers.csv), puis :

dbt seed

6.3 Référencer le seed depuis un modèle

-- models/stg_customers.sql
select
    id as customer_id,
    first_name,
    last_name
from {{ ref('raw_customers') }}

7. Exécuter votre modèle

# run all models
dbt run
 
# run one specific model
dbt run --select stg_customers
 
# run a model + everything downstream of it
dbt run --select stg_customers+
 
# run a model + everything upstream of it
dbt run --select +stg_customers
 
# full refresh (rebuild incremental models from scratch)
dbt run --full-refresh

1 of 1 START sql view model public.stg_customers .................. [RUN]
1 of 1 OK created sql view model public.stg_customers .............. [OK in 0.15s]

Completed successfully

Done. PASS=1 WARN=0 ERROR=0 SKIP=0 TOTAL=1

8. Tester vos modèles

Tests génériques intégrés : unique, not_null, accepted_values, relationships.

8.1 Définir les tests

models/schema.yml

version: 2
 
models:
  - name: stg_customers
    columns:
      - name: customer_id
        tests:
          - unique
          - not_null

8.2 Lancer les tests

dbt test
 
# or scoped to one model
dbt test --select stg_customers

1 of 2 START test not_null_stg_customers_customer_id .......... [RUN]
1 of 2 PASS not_null_stg_customers_customer_id ................. [PASS in 0.10s]
2 of 2 START test unique_stg_customers_customer_id ............. [RUN]
2 of 2 PASS unique_stg_customers_customer_id ................... [PASS in 0.09s]

Completed successfully

Done. PASS=2 WARN=0 ERROR=0 SKIP=0 TOTAL=2

9. Documentation

dbt génère automatiquement un site de documentation à partir de vos modèles et de vos descriptions YAML.

# build the docs
dbt docs generate
 
# serve them locally in your browser
dbt docs serve

10. Aide-mémoire des commandes

11. Déroulé de la démo en direct

1. pip install dbt-core dbt-duckdb — installer
2. dbt init demo_project — initialiser
3. dbt debug — confirmer la connexion
4. Créer models/customers.sql — écrire le premier modèle
5. dbt run — l’exécuter
6. Ajouter un test dans schema.yml
7. dbt test — le lancer
8. dbt docs generate && dbt docs serve — montrer la documentation
9. Modifier le modèle et relancer dbt run --select customers — montrer la vitesse d’itération

12. Pièges courants

Suite

Poursuivez avec Lab 3 : Modélisation dbt Medallion — cas DHIS2, qui applique ces fondamentaux à l’entrepôt — en modélisant les données agrégées et tracker de DHIS2 à travers les couches Bronze, Silver et Gold.