Spécifications — Scripts d'automatisation CEBTG

🧭 Vue d'ensemble

🏗️ Infrastructure & environnement d'exécution

Infrastructure générale

• Notion — CMS et bases de données
• kDrive Infomaniak — stockage des fichiers PDF
• kCalendar Infomaniak — calendrier des cours (CalDAV)
• Bullet.so — publication web (tibetain.cebtg.ch)
• Tally Pro — formulaires d'inscription
• YouTube — replays des cours (chaîne @falcolito)
• Anthropic API — génération des résumés automatiques (Claude)
• Webshare — proxy résidentiel rotatif (contournement blocage YouTube)

Environnement d'exécution

source ~/venv-cebtg/bin/activate

~/Documents/MesScripts/kDrive - Notion/

pip install yt-dlp requests anthropic youtube-transcript-api

{
  "notion": {
    "token": "secret_...",
    "db_replays_youtube": "740058cf0fa1470cb93e4de1c43d0efb",
    "db_ressources": "90340df9fcbb480f80d86b7b7c473dc3"
  },
  "anthropic": {
    "api_key": "sk-ant-...",
    "model": "claude-sonnet-5-5"
  },
  "options": {
    "dry_run": true,
    "log_file": "sync_local_ftp_notion.log",
    "log_file_youtube": "sync_youtube_notion.log",
    "log_file_summaries": "sync_youtube_summaries.log",
    "miniature_largeur_px": 400,
    "caldav_horizon_jours": 90
  }
}

📚 Bases de données Notion

📜 Scripts Python

Script 1 — sync_local_ftp_notion.py

cd ~/Documents/MesScripts/kDrive\ -\ Notion
source ~/venv-cebtg/bin/activate

# ✅ CAS HABITUEL — ajout de nouveaux PDFs (ignore ceux déjà dans Notion)
python3 sync_local_ftp_notion.py --sync --new-only

# ✅ CAS HABITUEL — un seul PDF précis
python3 sync_local_ftp_notion.py --sync --file Tib1/2025-2026/sujet/lecon-06.pdf
python3 sync_local_ftp_notion.py --sync --file Tib2/2026-2027/sutra-pousse-de-riz-4/lecon-82.pdf

# Simulation préalable (sans --sync) — voir ce qui serait traité
python3 sync_local_ftp_notion.py --new-only

# Sync complète (tous les PDFs — MET À JOUR les existants aussi — lent, ~20-30 min)
python3 sync_local_ftp_notion.py --sync

# Test de connexion FTP uniquement
python3 sync_local_ftp_notion.py --ftp-test

• dry_run: true dans config.json → le script simule sans rien modifier (recommandé par défaut)
• L'option --sync est toujours nécessaire pour une exécution réelle
• L'option --new-only est indépendante : elle filtre les PDFs déjà présents dans Notion, quelle que soit la présence de --sync
• ⚠️ Erreur fréquente : --new-only seul (sans --sync) = simulation uniquement des nouveaux. Il faut toujours combiner --sync --new-only pour le workflow quotidien.

• Lit les PDFs dans /Users/jm/kDrive/Cours de tibétain/Tibétain/
• Détecte le type de contenu depuis le nom du fichier (Leçon ou Annexe — voir ci-dessous)
• Les uploade sur le FTP Infomaniak (579j3l.ftp.infomaniak.com, user 579j3l_cebtg_jm) vers sites/cebtg.ch/cours/
• Génère une miniature PNG de la première page via PyMuPDF
• Crée ou met à jour la fiche dans Ressources Pédagogiques (pivot : kDrive Path)
• URL publique des PDFs : https://cebtg.ch/cours/TibX/AAAA-AAAA/sujet/lecon-NN.pdf

Tibétain/
  Bonus/                          (hors périmètre Script 1)
  Grammaire/                      (hors périmètre Script 1)
  Miniatures/                     (généré par Script 1, pas une source)
  Tib1/
    2021-2022/
      tchenrezi-1/
    2022-2023/
      tchenrezi-2/
    2024-2025/
      dorje-tchang-thungma/
    2025-2026/
      bodhicaryavatara/
      dakayeshe/
    2026-2027/
      bodhicaryavatara-2/
  Tib2/
    2022-2023/
      sutra-du-coeur/
    2023-2024/
      sutra-pousse-de-riz-1/
    2024-2025/
      sutra-pousse-de-riz-2/
    2025-2026/
      sutra-pousse-de-riz-3/
    2026-2027/
      sutra-pousse-de-riz-4/
  Tib3/
    2023-2024/
      37-pratiques-des-bodhisattvas-1/
    2024-2025/
      37-pratiques-des-bodhisattvas-2/
      sangtcheu-meunlam-1/
    2025-2026/
      sangtcheu-meunlam-2/
    2026-2027/
      sangtcheu-meunlam-3/

Convention de nommage des fichiers PDF — Leçon vs Annexe (mise à jour 5 septembre 2026 — plusieurs annexes par leçon)

• Tout fichier dont le nom commence par annexe- (insensible à la casse) est reconnu comme une annexe.
• Format actuel — plusieurs annexes par leçon : annexe-N-lecon-NN.pdf, où N est le numéro de l'annexe (1, 2, 3…) et NN le numéro de la leçon à laquelle elle se rattache. Chaque annexe reçoit un titre distinct (Annexe 1 — …, Annexe 2 — …) tout en partageant le même Ordre que la leçon, pour rester groupées dans les tris Notion.
• Ancien format, toujours reconnu : annexe-lecon-NN.pdf (une seule annexe pour la leçon, sans numéro d'annexe).
• À défaut de correspondance avec l'un de ces deux motifs, le script retombe sur le premier nombre trouvé dans le nom de fichier.
• Aucune autre modification n'est nécessaire pour ajouter des annexes à un sujet existant : il suffit de déposer les fichiers annexe-N-lecon-NN.pdf dans le même dossier que les leçons, puis de lancer la synchro habituelle.

1. Créer le dossier sur le Mac : Tibétain/TibX/AAAA-AAAA/nom-du-sujet/
2. Attendre la synchronisation kDrive
3. Déposer les PDFs dans ce dossier (lecon-NN.pdf et, le cas échéant, annexe-lecon-NN.pdf)
4. Lancer python3 sync_local_ftp_notion.py --sync --new-only

Script 2 — sync_caldav_notion.py

1. Aller sur github.com/falco36/cebtg-scripts
2. Onglet Actions → Sync CalDAV Notion
3. Bouton Run workflow → Run workflow (vert)

cd ~/Documents/MesScripts/kDrive\ -\ Notion
source ~/venv-cebtg/bin/activate
python3 sync_caldav_notion.py --dry-run   # simulation
python3 sync_caldav_notion.py             # sync réelle

• ICS_URL — URL export ICS kCalendar Infomaniak
• NOTION_TOKEN — token API Notion
• NOTION_DB_COURS_A_VENIR — ID base Cours à venir
• FTP_HOST / FTP_USER / FTP_PASS / FTP_REMOTE_BASE — accès FTP Infomaniak

• Télécharge le calendrier ICS depuis Infomaniak
• Détecte les cours dans les 90 prochains jours
• Crée ou met à jour les fiches dans "Cours à venir" (pivot : CalDAV UID)
• Archive les fiches des cours disparus du calendrier
• Génère et uploade agenda.html sur le FTP Infomaniak

Script 3 — sync_youtube_notion.py

cd ~/Documents/MesScripts/kDrive\ -\ Notion
source ~/venv-cebtg/bin/activate

# ✅ CAS HABITUEL — une seule nouvelle vidéo (quelques secondes)
python3 sync_youtube_notion.py --video VIDEO_ID

# Nouvelles vidéos uniquement — ignore les existantes (rapide)
python3 sync_youtube_notion.py --new-only

# Simulation sans écriture
python3 sync_youtube_notion.py --dry-run

# Sync complète de toutes les playlists (rare — ~15-20 min)
python3 sync_youtube_notion.py

• Si une fiche a déjà un bloc vidéo embarquée → le corps n'est pas réécrit
• Utilise Video ID comme pivot (pas de doublons)
• Parse la date depuis le titre YouTube ("le 08.04.26")
• Déduit l'année scolaire depuis la date

• Titres en français : yt-dlp demande désormais la langue française (lang=fr et en-tête Accept-Language). Cela évite les titres traduits automatiquement en anglais, avec des dates au format américain. Si un titre arrive malgré tout en anglais (« April 8, 2026 », « 4/8/26 »), la date est quand même lue correctement. Une synchronisation complète a remis en français les titres de 361 fiches.
• Vidéos masquées, privées ou supprimées : elles sont ignorées avec un avertissement dans le log. Avant, une seule vidéo de ce type faisait planter le script (expected string or bytes-like object, got 'NoneType') et plus aucune nouvelle vidéo ne se synchronisait. Deux sont concernées à ce jour : HpUVJcKBMb0 et EvToMDrBdks. 361 vidéos sont maintenant extraites, au lieu de 308.
• --video ID affiche une erreur claire si l'identifiant ne figure dans aucune playlist.
• La version de yt-dlp est écrite dans le log (2026.08.19). Si l'extraction se comporte de façon bizarre : pip install -U yt-dlp.
• Vidéo qui manquait : k4Vo5pVNyx0 (Sangtcheu Meunlam 68, 02.10.26), maintenant synchronisée.
• Le Sujet vient de la playlist (liste PLAYLISTS du script), pas de la base Sujets. Deux playlists peuvent donc donner deux Sujets différents pour un même texte (ex. « Prière de la conduite excellente » et « Sangtcheu meunlam 3 »). C'est voulu.
• Titre YouTube : garder le format Tib X - Cours de tibétain … leçon N, le JJ.MM.AA. L'année scolaire est déduite de la date du titre, donc une date fausse donne une mauvaise année scolaire.

1. Dans YouTube Studio, copier l'ID de la playlist (ce qui suit list= dans l'URL)
2. Ouvrir sync_youtube_notion.py, dans la liste PLAYLISTS (ligne ~37), ajouter une ligne : ("ID_PLAYLIST", "Tib X", "Nom du Sujet", "AAAA-AAAA")
⚠️ "Nom du Sujet" doit être identique, caractère pour caractère, au titre du Sujet dans la base Sujets — sinon Script 5 ne pourra pas faire la relation
3. Tester : python3 sync_youtube_notion.py --dry-run — vérifier que la nouvelle playlist apparaît avec le bon nombre de vidéos
4. Exécuter réellement : python3 sync_youtube_notion.py
5. Committer sur GitHub (via GitHub Desktop) pour que la prochaine sync via GitHub Actions connaisse aussi cette playlist
⚠️ Piège fréquent : le dossier de travail quotidien (~/Documents/MesScripts/kDrive - Notion/) et le dépôt surveillé par GitHub Desktop (~/Documents/GitHub/cebtg-scripts/) sont deux copies distinctes sur le disque. Avant de committer, copier le fichier modifié :

cp ~/Documents/MesScripts/kDrive\ -\ Notion/sync_youtube_notion.py \
   ~/Documents/GitHub/cebtg-scripts/sync_youtube_notion.py

Sinon GitHub Desktop affiche "0 changed files" — rien à committer.
Marche à suivre dans GitHub Desktop :
1. Ouvrir l'app GitHub Desktop — le dépôt courant doit être cebtg-scripts, branche main
2. Une fois le fichier copié (étape ci-dessus), l'onglet Changes affiche sync_youtube_notion.py avec 1 fichier modifié — cliquer dessus pour voir le diff (les lignes ajoutées apparaissent en vert)
3. En bas à gauche, remplir le champ Summary (required), ex. : Ajout playlist NOM_DU_SUJET (AAAA-AAAA)
4. Cliquer sur Commit to main
5. Une fois le commit fait, un bouton Push origin apparaît en haut — cliquer dessus pour envoyer la modification sur GitHub
✅ Une fois poussé, un lancement futur du Script 3 depuis GitHub Actions (iPhone ou navigateur) connaîtra cette nouvelle playlist.
6. Si les vidéos doivent aussi compter comme leçons d'un Sujet (compteur "Nombre de leçons") : vérifier que le PDF correspondant existe dans Ressources Pédagogiques avec le bon Chapitre/Section, puis relancer Script 5 (voir plus bas)

Script 4 — sync_youtube_summaries.py

cd ~/Documents/MesScripts/kDrive\ -\ Notion
source ~/venv-cebtg/bin/activate
python3 sync_youtube_summaries.py                    # toutes les vidéos récentes (6 mois)
python3 sync_youtube_summaries.py --dry-run          # simulation sans écriture
python3 sync_youtube_summaries.py --force            # réécrire les résumés existants
python3 sync_youtube_summaries.py --video VIDEO_ID   # une seule vidéo
python3 sync_youtube_summaries.py --force --depuis 2026-09-01   # réécrire tous les résumés depuis une date (AAAA-MM-JJ)
python3 sync_youtube_summaries.py --dry-run --force --video VIDEO_ID   # voir le résumé complet sans écrire dans Notion

• Filtre les fiches Notion des 6 derniers mois sans résumé
• Extrait les sous-titres automatiques YouTube via youtube-transcript-api
• Utilise le proxy Webshare résidentiel rotatif pour contourner les blocages YouTube
• Envoie le transcript (~7000 mots) à l'API Claude Anthropic avec un prompt pédagogique
• Insère le résumé dans la fiche Notion sous forme de callout (brun)

Bonjour,

Aujourd'hui, nous… (8 à 12 lignes, ouverture variable)

Les points-clés (sous-titre) puis 4 à 8 puces

Bon replay et bonne étude !

Si vous souhaitez recevoir les supports PDF de cette leçon, merci de vous inscrire. [lien vers /inscription/]

• Modèle : claude-sonnet-5-5 (réglable dans config.json → anthropic.model). Ce modèle renvoie un bloc de réflexion avant le texte : le script ne garde que les blocs de texte (erreur 'ThinkingBlock' object has no attribute 'text' corrigée) et max_tokens est à 4000.
• Style des résumés : plus proche et moins formel. L'enseignant s'exprime en « nous » et en « je », jamais « le professeur ». Le lecteur est tutoyé, de façon chaleureuse mais pas familière. Les ouvertures et fermetures varient d'une leçon à l'autre (plus de « Dans cette leçon… » systématique). Seule la signature « Bon replay et bonne étude ! » est fixe. Le prompt contient un exemple de style (PROMPT_SYSTEME).
• Les points-clés : après le résumé, 4 à 8 puces affichées dans Notion sous un sous-titre « Les points-clés ». Le modèle sépare le résumé et les puces avec la ligne ###POINTS-CLES###, et le script la lit avant d'écrire les blocs Notion. Avec --force, l'ancien encadré, l'ancien sous-titre et les anciennes puces sont supprimés avant réécriture (le lien YouTube et la vidéo ne sont pas touchés).
• Discrétion : les prénoms des participants ne sont jamais cités. Le texte dit « un participant » ou « une participante » selon le genre du prénom, ou « une personne du groupe » en cas de doute. Les noms des maîtres et des personnages des textes restent cités. Limite : les sous-titres automatiques déforment souvent les prénoms, le genre peut donc être mal deviné.
• Option --depuis AAAA-MM-JJ : ne traite que les vidéos à partir de cette date. À combiner avec --force pour réécrire des résumés existants. Sans option, la limite reste de 6 mois.
• Signature : inchangée (« Si vous souhaitez recevoir les supports PDF de cette leçon, merci de vous inscrire. », avec le lien vers /inscription/). Le « vous » est gardé volontairement.
• Dry-run : le résumé complet et les points-clés s'affichent dans le terminal. En exécution réelle, le log ne montre que les 120 premiers caractères.
• Réécriture faite le 5 octobre 2026 : les 13 leçons depuis le 1er septembre 2026 ont été réécrites dans le nouveau style (13 traités, 0 erreur). Les résumés d'avant septembre gardent l'ancien style.
• Proxy : le mot de passe Webshare a été changé début octobre 2026 et ne figure plus dans le code.

• Host : p.webshare.io, Port : 80
• Rotation automatique parmi 10 proxies résidentiels
• Identifiants : voir config.json (bloc webshare) ou les secrets GitHub WEBSHARE_USER et WEBSHARE_PASS
• En cas de blocage persistant : attendre quelques heures et relancer

• Clé API Anthropic dans config.json → champ anthropic.api_key
• Crédit API Anthropic approvisionné (console.anthropic.com)

Script 5 — populate_sujet_relation.py

• Après la création d'un nouveau sujet dans la base Sujets (renseigner sa Clé Chapitre/Section d'abord)
• Après l'ajout de nouvelles leçons via Script 1 pour un sujet existant
• Après correction d'un champ Chapitre/Section (utiliser --force)

cd ~/Documents/MesScripts/kDrive\ -\ Notion
source ~/venv-cebtg/bin/activate
python populate_sujet_relation.py --dry-run  # simulation — affiche ce qui sera fait
python populate_sujet_relation.py             # exécution réelle
python populate_sujet_relation.py --force     # écrase les relations déjà renseignées

• Compare Chapitre/Section (Ressources) avec Clé Chapitre/Section (Sujets)
• Remplit la relation Sujet dans chaque fiche Ressource correspondante
• Le rollup Nombre de leçons se met à jour automatiquement dans Notion
• Ne touche pas aux fiches déjà reliées sauf si --force

Script 6 — sync_newsletter.py

1. github.com/falco36/cebtg-scripts → onglet Actions → Sync Newsletter
2. Bouton Run workflow → remplir test_email (optionnel, pour tester sans toucher aux vrais abonnés) et/ou dry_run → Run workflow (vert)

cd ~/Documents/MesScripts/kDrive\ -\ Notion
source ~/venv-cebtg/bin/activate
python3 sync_newsletter.py --dry-run                     # simulation
python3 sync_newsletter.py --test-email adresse@ex.ch    # envoi à une seule adresse de test
python3 sync_newsletter.py                                # envoi réel à tous les abonnés actifs

• NOTION_TOKEN, NOTION_DB_COURS_A_VENIR — réutilisés du Script 2
• NOTION_DB_ABONNES_NEWSLETTER — ID de la base Abonnés newsletter
• SMTP_HOST, SMTP_PORT, SMTP_USER, SMTP_PASSWORD, SMTP_EXPEDITEUR_NOM — envoi via SMTP Infomaniak (SMTP_PASSWORD est un mot de passe d'appareil dédié, généré depuis Manager Infomaniak → Service Mail → adresse concernée → onglet Appareils → Ajouter un appareil → Configurer moi-même)

• Interroge la base "Cours à venir" (Notion) pour les cours de la semaine en cours (lundi → dimanche)
• Convertit les horaires (stockés en UTC dans Notion) vers l'heure de Genève via zoneinfo (Europe/Zurich)
• Interroge la base "Abonnés newsletter tib dates des cours" (filtre Actif = coché)
• Envoie un email personnalisé (prénom) à chaque abonné individuellement via SMTP — pas de BCC groupé
• N'envoie rien si aucun cours cette semaine, sauf option --force

• Lien public du formulaire : https://tally.so/r/68gp5N
• 3 champs collectés : Prénom, Nom de famille, Email — plus une case à cocher obligatoire ("Je souhaite recevoir le rappel hebdomadaire des dates de cours") qui fait office de consentement explicite
• Intégration native Tally → Notion (pas de Make.com ici) : chaque soumission crée une ligne dans la base "Abonnés newsletter tib dates des cours", la case cochée étant mappée directement sur la propriété Actif
• ⚠️ Le mode Preview de l'éditeur Tally ne déclenche pas l'intégration Notion — seul un envoi depuis le lien public réel crée une ligne
• Désinscription : pas encore automatisée. Les abonnés sont invités à répondre à l'email pour se désinscrire ; décocher Actif manuellement dans Notion en attendant un vrai lien de désinscription
• Propriété Abonné (titre de la base) : reste vide, sans impact — le script ne la lit jamais

🔗 Intégrations & webhooks

Make.com — Automatisation segments Bullet

curl -X POST https://hook.eu2.make.com/9g5lhui4lebgncwy9wjh4rm2k11ic66k \
  -H "Content-Type: application/json" \
  -d '{"type":"checkout.session.completed","data":{"object":{"metadata":{"segment":"NOM_DU_SEGMENT"},"customer_details":{"email":"EMAIL_DE_TEST"}}}}'

Webhook — bullet-webhook.php

• Détecte les payloads de vérification Bullet (name = "testURL") → répond 200 OK sans toucher Notion
• Pour un vrai événement : cherche le contact par email dans Contacts JM
• Si trouvé : met à jour Tib niveau, Cours/Stages, Soutien, Dernière interaction
• Si nouveau contact : crée la fiche complète

🚀 GitHub Actions — Pistes pour la suite

• Scripts 3 et 4 : ajouter un déclenchement hebdomadaire (cron) au workflow youtube.yml, si tu veux que les nouveaux replays soient synchronisés sans intervention.
• Script 1 sync_local_ftp_notion.py — lit les fichiers locaux kDrive → restera sur Mac (GitHub Actions n'a pas accès au disque local).

✅ Workflows courants

Après chaque séance

1. YouTube publie la vidéo
2. python3 sync_youtube_notion.py → sync la nouvelle fiche (30 sec)
3. python3 sync_youtube_summaries.py → génère le résumé automatique (30 sec)
4. Publish dans Bullet → la fiche apparaît sur le site avec vidéo + résumé

Après chaque PDF (leçon ou annexe)

1. Déposer le PDF dans kDrive (/Tibétain/TibX/AAAA-AAAA/sujet/lecon-NN.pdf ou annexe-lecon-NN.pdf)
2. python3 sync_local_ftp_notion.py --sync --new-only → upload FTP + création fiche Notion (ignore les PDFs déjà synchronisés)
3. python populate_sujet_relation.py → relie la nouvelle fiche à son Sujet (champ Sujet) et met à jour le rollup Nombre de leçons
⚠️ Étape à ne jamais sauter : sans elle, la ressource existe dans Notion mais reste orpheline (aucun Sujet lié), et n'apparaîtra pas correctement sur le site même si elle est publiée.
4. Publish dans Bullet