ISTQB® AI Testing (CT-AI) : valider et tester les systèmes d'Intelligence Artificielle

Module 1 : comprendre l'IA et les enjeux du test

• La définition de l'effet IA et la distinction entre IA étroite, générale et super IA.
• La comparaison entre systèmes conventionnels et systèmes basés sur l'IA.
• Le panorama des technologies (Machine Learning, Deep Learning) et des frameworks de développement.
• L'utilisation de l'IA en tant que service (AIaaS) et des modèles pré-entraînés.

Module 2 : analyser les caractéristiques de qualité des systèmes IA

• L'analyse des attributs spécifiques : flexibilité, adaptabilité et autonomie.
• La gestion de l'évolution des systèmes et des biais (algorithmiques et sociétaux).
• L'éthique, la transparence, l'interprétabilité et l'explicabilité (XAI) des modèles.
• La sécurité et les effets de bord indésirables (Reward Hacking).

Module 3 : appréhender le Machine Learning (ML)

• La distinction entre apprentissage supervisé, non supervisé et par renforcement.
• Le cycle de vie du ML : compréhension des objectifs, sélection de l'algorithme, entraînement et déploiement.
• L'ajustement du modèle (tuning) et la gestion du sous-apprentissage (underfitting) et sur-apprentissage (overfitting).

Module 4 : gérer les données pour le Machine Learning

• La préparation des données : nettoyage, augmentation et ingénierie des fonctionnalités.
• La stratégie de découpage des jeux de données : entraînement, validation et test.
• L'impact de la qualité des données et des erreurs d'étiquetage sur le modèle final.

Module 5 : maîtriser les métriques de performance fonctionnelle

• L'utilisation de la matrice de confusion pour évaluer les classificateurs.
• Le calcul et l'interprétation des métriques clés : précision, rappel, F1-score et exactitude.
• Les métriques spécifiques pour la régression (MSE, R-squared) et le clustering.

Module 6 : explorer les réseaux de neurones et leur couverture

• La structure des réseaux de neurones profonds (DNN) et le fonctionnement des couches.
• Les mesures de couverture spécifiques aux réseaux de neurones (couverture de neurones, de seuil, de changement de signe).

Module 7 : tester les systèmes basés sur l'IA

• La spécification des exigences et les niveaux de test (test du modèle vs test du système).
• La gestion des données de test et la problématique des biais d'automatisation.
• La détection et la gestion de la dérive conceptuelle (Concept Drift) en production.

Module 8 : évaluer les caractéristiques spécifiques et l'explicabilité

• Les défis liés au test des systèmes probabilistes, non déterministes et complexes.
• L'évaluation de l'explicabilité et de la transparence des décisions de l'IA.
• La définition d'oracles de test adaptés aux systèmes autonomes.

Module 9 : appliquer les méthodes et techniques de test pour l'IA

• La protection contre les attaques contradictoires (Adversarial Attacks) et l'empoisonnement des données.
• L'application du test par paires (Pairwise) pour gérer la combinatoire.
• L'utilisation du test métamorphique, du test A/B et du test Back-to-Back pour pallier l'absence d'oracle.

Module 10 : mettre en place les environnements de test pour l'IA

• Les spécificités des environnements de test pour les systèmes auto-apprenants.
• L'utilisation d'environnements virtuels pour simuler des scénarios complexes ou dangereux.

Module 11 : utiliser l'IA pour optimiser les activités de test

• L'analyse automatisée des défauts et la prédiction des zones à risque.
• La génération intelligente de cas de test et l'optimisation des suites de régression.
• L'utilisation de la vision par ordinateur pour le test des interfaces graphiques (GUI).