ISTQB® AI Testing (CT-AI) : valider et tester les systèmes d'Intelligence Artificielle
L'intégration de l'Intelligence Artificielle dans les systèmes logiciels redéfinit les frontières de l'assurance qualité. Les méthodes de test traditionnelles ne suffisent plus face à des systèmes probabilistes, non déterministes et auto-apprenants. Il devient crucial pour les professionnels du test logiciel de comprendre les spécificités des algorithmes de machine learning et des réseaux de neurones pour garantir leur fiabilité, leur éthique et leur performance.
Cette formation accréditée de 4 jours couvre l'intégralité du syllabus ISTQB® AI Testing. Vous explorerez deux dimensions essentielles : le test de l'IA (comment valider des systèmes basés sur l'IA) et l'IA pour le test (comment utiliser l'IA pour optimiser les activités de test). À travers une approche structurée, vous apprendrez à mesurer la performance des modèles, à gérer les biais algorithmiques et à concevoir des jeux de données de test robustes.
Au-delà de la théorie, ce programme vous prépare au passage de l'examen de certification ISTQB® Certified Tester AI Testing (en savoir plus dans l'onglet Certification). Vous repartirez avec les compétences nécessaires pour définir des stratégies de test adaptées aux enjeux de l'IA, telles que l'explicabilité, la détection de la dérive conceptuelle et la prévention des attaques contradictoires.
Oo2 est un centre de formation Platinum accrédité par le GASQ (Global Association for Software Quality). Cette accréditation garantit que la formation et l’examen ISTQB CT-AI répondent aux exigences de qualité de l’ISTQB et du GASQ, pour une certification reconnue dans plus de 130 pays.
Objectifs
À l’issue de cette formation ISTQB AI Testing, vous atteindrez les objectifs de compétences suivants :
- comprendre les concepts fondamentaux de l'IA, du Machine Learning (ML) et leurs impacts sur le test ;
- évaluer les caractéristiques de qualité spécifiques aux systèmes IA (adaptabilité, autonomie et équité) ;
- appliquer les métriques de performance fonctionnelle (matrice de confusion, rappel, précision) pour valider un modèle ;
- gérer les données de test, de l'acquisition à la préparation, en évitant les biais d'échantillonnage ;
- concevoir des stratégies de test pour les réseaux de neurones et les systèmes auto-apprenants ;
- mettre en œuvre des techniques spécifiques comme le test métamorphique, le test A/B et le test contradictoire ;
- utiliser des outils basés sur l'IA pour optimiser la génération de tests, la prédiction de défauts et l'analyse de bugs ;
- préparer et réussir l’examen de certification ISTQB® AI Testing en maîtrisant l’ensemble du syllabus.
Programme
Module 1 : comprendre l'IA et les enjeux du test
- La définition de l'effet IA et la distinction entre IA étroite, générale et super IA.
- La comparaison entre systèmes conventionnels et systèmes basés sur l'IA.
- Le panorama des technologies (Machine Learning, Deep Learning) et des frameworks de développement.
- L'utilisation de l'IA en tant que service (AIaaS) et des modèles pré-entraînés.
Module 2 : analyser les caractéristiques de qualité des systèmes IA
- L'analyse des attributs spécifiques : flexibilité, adaptabilité et autonomie.
- La gestion de l'évolution des systèmes et des biais (algorithmiques et sociétaux).
- L'éthique, la transparence, l'interprétabilité et l'explicabilité (XAI) des modèles.
- La sécurité et les effets de bord indésirables (Reward Hacking).
Module 3 : appréhender le Machine Learning (ML)
- La distinction entre apprentissage supervisé, non supervisé et par renforcement.
- Le cycle de vie du ML : compréhension des objectifs, sélection de l'algorithme, entraînement et déploiement.
- L'ajustement du modèle (tuning) et la gestion du sous-apprentissage (underfitting) et sur-apprentissage (overfitting).
Module 4 : gérer les données pour le Machine Learning
- La préparation des données : nettoyage, augmentation et ingénierie des fonctionnalités.
- La stratégie de découpage des jeux de données : entraînement, validation et test.
- L'impact de la qualité des données et des erreurs d'étiquetage sur le modèle final.
Module 5 : maîtriser les métriques de performance fonctionnelle
- L'utilisation de la matrice de confusion pour évaluer les classificateurs.
- Le calcul et l'interprétation des métriques clés : précision, rappel, F1-score et exactitude.
- Les métriques spécifiques pour la régression (MSE, R-squared) et le clustering.
Module 6 : explorer les réseaux de neurones et leur couverture
- La structure des réseaux de neurones profonds (DNN) et le fonctionnement des couches.
- Les mesures de couverture spécifiques aux réseaux de neurones (couverture de neurones, de seuil, de changement de signe).
Module 7 : tester les systèmes basés sur l'IA
- La spécification des exigences et les niveaux de test (test du modèle vs test du système).
- La gestion des données de test et la problématique des biais d'automatisation.
- La détection et la gestion de la dérive conceptuelle (Concept Drift) en production.
Module 8 : évaluer les caractéristiques spécifiques et l'explicabilité
- Les défis liés au test des systèmes probabilistes, non déterministes et complexes.
- L'évaluation de l'explicabilité et de la transparence des décisions de l'IA.
- La définition d'oracles de test adaptés aux systèmes autonomes.
Module 9 : appliquer les méthodes et techniques de test pour l'IA
- La protection contre les attaques contradictoires (Adversarial Attacks) et l'empoisonnement des données.
- L'application du test par paires (Pairwise) pour gérer la combinatoire.
- L'utilisation du test métamorphique, du test A/B et du test Back-to-Back pour pallier l'absence d'oracle.
Module 10 : mettre en place les environnements de test pour l'IA
- Les spécificités des environnements de test pour les systèmes auto-apprenants.
- L'utilisation d'environnements virtuels pour simuler des scénarios complexes ou dangereux.
Module 11 : utiliser l'IA pour optimiser les activités de test
- L'analyse automatisée des défauts et la prédiction des zones à risque.
- La génération intelligente de cas de test et l'optimisation des suites de régression.
- L'utilisation de la vision par ordinateur pour le test des interfaces graphiques (GUI).
Prérequis
Suivre cette formation nécessite les prérequis suivants :
- Certification : posséder la certification ISTQB® Foundation Level (CTFL) est obligatoire pour passer l'examen CT-AI.
- Connaissances de base : une compréhension des concepts informatiques de base et une familiarité avec le vocabulaire du test logiciel sont recommandées.
Public
Cette formation s’adresse aux professionnels impliqués dans la qualité des systèmes intelligents. Le public inclut notamment :
- les testeurs logiciels et ingénieurs QA qui doivent adapter leurs pratiques aux projets d'IA.
- les data scientists et développeurs d'IA souhaitant acquérir des méthodes rigoureuses de validation.
- les chefs de projet et responsables qualité qui supervisent le déploiement de solutions d'intelligence artificielle.
- les analystes métier et consultants qui définissent les critères d'acceptation des systèmes prédictifs.
Points forts
- Double compétence : vous apprendrez à tester l'IA (défis techniques) et à utiliser l'IA (outils) pour tester mieux.
- Contenu officiel : le programme est strictement aligné sur le syllabus ISTQB® v1.0, garantissant la conformité de l'examen.
- Approche concrète : la formation inclut des objectifs "Hands-on" (pratiques) pour manipuler des concepts comme l'overfitting ou le test métamorphique.
- Reconnaissance mondiale : la certification ISTQB Tester AI Testing (CT-AI) est le standard international en matière de test logiciel.
Certification
Cette formation vous prépare de manière intensive à l’examen de certification professionnelle ISTQB® Certified Tester AI Testing (CT-AI). Un code coupon vous sera fourni à la fin du cours pour que vous puissiez programmer votre examen en ligne via le site du GASQ.
Modalités de l’examen ISTQB AI Testing
- Type d’examen : QCM (Questions à Choix Multiples)
- Nombre de questions : 40 questions
- Durée : 60 minutes (75 minutes si la langue de l'examen n'est pas votre langue maternelle)
- Score requis : 65 % (soit 31 points sur 47 disponibles - certaines questions valent plus d'un point)
- Modalité : examen à livre fermé
Après le passage de l’examen, si vous réussissez, le GASQ vous enverra par mail la confirmation de votre certification officielle sous quelques jours.
Objectifs
À l’issue de cette formation ISTQB AI Testing, vous atteindrez les objectifs de compétences suivants :
- comprendre les concepts fondamentaux de l'IA, du Machine Learning (ML) et leurs impacts sur le test ;
- évaluer les caractéristiques de qualité spécifiques aux systèmes IA (adaptabilité, autonomie et équité) ;
- appliquer les métriques de performance fonctionnelle (matrice de confusion, rappel, précision) pour valider un modèle ;
- gérer les données de test, de l'acquisition à la préparation, en évitant les biais d'échantillonnage ;
- concevoir des stratégies de test pour les réseaux de neurones et les systèmes auto-apprenants ;
- mettre en œuvre des techniques spécifiques comme le test métamorphique, le test A/B et le test contradictoire ;
- utiliser des outils basés sur l'IA pour optimiser la génération de tests, la prédiction de défauts et l'analyse de bugs ;
- préparer et réussir l’examen de certification ISTQB® AI Testing en maîtrisant l’ensemble du syllabus.
Programme
Module 1 : comprendre l'IA et les enjeux du test
- La définition de l'effet IA et la distinction entre IA étroite, générale et super IA.
- La comparaison entre systèmes conventionnels et systèmes basés sur l'IA.
- Le panorama des technologies (Machine Learning, Deep Learning) et des frameworks de développement.
- L'utilisation de l'IA en tant que service (AIaaS) et des modèles pré-entraînés.
Module 2 : analyser les caractéristiques de qualité des systèmes IA
- L'analyse des attributs spécifiques : flexibilité, adaptabilité et autonomie.
- La gestion de l'évolution des systèmes et des biais (algorithmiques et sociétaux).
- L'éthique, la transparence, l'interprétabilité et l'explicabilité (XAI) des modèles.
- La sécurité et les effets de bord indésirables (Reward Hacking).
Module 3 : appréhender le Machine Learning (ML)
- La distinction entre apprentissage supervisé, non supervisé et par renforcement.
- Le cycle de vie du ML : compréhension des objectifs, sélection de l'algorithme, entraînement et déploiement.
- L'ajustement du modèle (tuning) et la gestion du sous-apprentissage (underfitting) et sur-apprentissage (overfitting).
Module 4 : gérer les données pour le Machine Learning
- La préparation des données : nettoyage, augmentation et ingénierie des fonctionnalités.
- La stratégie de découpage des jeux de données : entraînement, validation et test.
- L'impact de la qualité des données et des erreurs d'étiquetage sur le modèle final.
Module 5 : maîtriser les métriques de performance fonctionnelle
- L'utilisation de la matrice de confusion pour évaluer les classificateurs.
- Le calcul et l'interprétation des métriques clés : précision, rappel, F1-score et exactitude.
- Les métriques spécifiques pour la régression (MSE, R-squared) et le clustering.
Module 6 : explorer les réseaux de neurones et leur couverture
- La structure des réseaux de neurones profonds (DNN) et le fonctionnement des couches.
- Les mesures de couverture spécifiques aux réseaux de neurones (couverture de neurones, de seuil, de changement de signe).
Module 7 : tester les systèmes basés sur l'IA
- La spécification des exigences et les niveaux de test (test du modèle vs test du système).
- La gestion des données de test et la problématique des biais d'automatisation.
- La détection et la gestion de la dérive conceptuelle (Concept Drift) en production.
Module 8 : évaluer les caractéristiques spécifiques et l'explicabilité
- Les défis liés au test des systèmes probabilistes, non déterministes et complexes.
- L'évaluation de l'explicabilité et de la transparence des décisions de l'IA.
- La définition d'oracles de test adaptés aux systèmes autonomes.
Module 9 : appliquer les méthodes et techniques de test pour l'IA
- La protection contre les attaques contradictoires (Adversarial Attacks) et l'empoisonnement des données.
- L'application du test par paires (Pairwise) pour gérer la combinatoire.
- L'utilisation du test métamorphique, du test A/B et du test Back-to-Back pour pallier l'absence d'oracle.
Module 10 : mettre en place les environnements de test pour l'IA
- Les spécificités des environnements de test pour les systèmes auto-apprenants.
- L'utilisation d'environnements virtuels pour simuler des scénarios complexes ou dangereux.
Module 11 : utiliser l'IA pour optimiser les activités de test
- L'analyse automatisée des défauts et la prédiction des zones à risque.
- La génération intelligente de cas de test et l'optimisation des suites de régression.
- L'utilisation de la vision par ordinateur pour le test des interfaces graphiques (GUI).
Prérequis
Suivre cette formation nécessite les prérequis suivants :
- Certification : posséder la certification ISTQB® Foundation Level (CTFL) est obligatoire pour passer l'examen CT-AI.
- Connaissances de base : une compréhension des concepts informatiques de base et une familiarité avec le vocabulaire du test logiciel sont recommandées.
Public
Cette formation s’adresse aux professionnels impliqués dans la qualité des systèmes intelligents. Le public inclut notamment :
- les testeurs logiciels et ingénieurs QA qui doivent adapter leurs pratiques aux projets d'IA.
- les data scientists et développeurs d'IA souhaitant acquérir des méthodes rigoureuses de validation.
- les chefs de projet et responsables qualité qui supervisent le déploiement de solutions d'intelligence artificielle.
- les analystes métier et consultants qui définissent les critères d'acceptation des systèmes prédictifs.
Points forts
- Double compétence : vous apprendrez à tester l'IA (défis techniques) et à utiliser l'IA (outils) pour tester mieux.
- Contenu officiel : le programme est strictement aligné sur le syllabus ISTQB® v1.0, garantissant la conformité de l'examen.
- Approche concrète : la formation inclut des objectifs "Hands-on" (pratiques) pour manipuler des concepts comme l'overfitting ou le test métamorphique.
- Reconnaissance mondiale : la certification ISTQB Tester AI Testing (CT-AI) est le standard international en matière de test logiciel.
Certification
Cette formation vous prépare de manière intensive à l’examen de certification professionnelle ISTQB® Certified Tester AI Testing (CT-AI). Un code coupon vous sera fourni à la fin du cours pour que vous puissiez programmer votre examen en ligne via le site du GASQ.
Modalités de l’examen ISTQB AI Testing
- Type d’examen : QCM (Questions à Choix Multiples)
- Nombre de questions : 40 questions
- Durée : 60 minutes (75 minutes si la langue de l'examen n'est pas votre langue maternelle)
- Score requis : 65 % (soit 31 points sur 47 disponibles - certaines questions valent plus d'un point)
- Modalité : examen à livre fermé
Après le passage de l’examen, si vous réussissez, le GASQ vous enverra par mail la confirmation de votre certification officielle sous quelques jours.
ISTQB® est une marque enregistrée de l'International Software Testing Qualifications Board
GASQ® est une marque enregistrée par le Global Association for Software Quality