En novembre 2023, les familles de deux assurés décédés ont intenter une action en justice contre l’assureur santé américain United Healthcare. Elles accusent l’entreprise d’avoir utilisé un système d’intelligence artificielle (IA) défectueux pour rejeter systématiquement les demandes de remboursement des patients.
Leur argument ne porte pas seulement sur la conception de l’IA, mais aussi sur le fait que l’entreprise aurait restreint la capacité de ses employés à contester les décisions du système, même en cas d’erreur manifeste. Ils vont jusqu’à affirmer que des sanctions auraient été appliquées aux employés qui ne suivaient pas les prévisions du modèle.
Quel que soit l’issue de cette affaire, encore pendante devant la justice américaine, les allégations soulevées mettent en lumière un défi crucial pour les organisations. Bien que l’intelligence artificielle offre d’énormes opportunités, son utilisation sûre et responsable repose sur la nécessité d’avoir les bonnes personnes, compétences et culture pour la gouverner de manière adéquate.
À lire aussi :
Au-delà du battage médiatique : ce que les travailleurs pensent réellement des assistants IA au travail.
Une approche proactive
L’IA s’infiltre dans les entreprises qu’elles le souhaitent ou non. De nombreuses organisations australiennes avancent rapidement sur le développement de cette technologie, mais trop peu se préoccupent de la gestion proactive des risques qui y sont associés.
Selon l’Index Australienne de l’IA Responsable 2024, 78 % des organisations interrogées affirment que leur utilisation de l’IA est conforme aux principes de l’IA responsable. Pourtant, seulement 29 % d’entre elles indiquent avoir mis en place des pratiques pour garantir cet alignement.
Tada Images/Shutterstock
Visibilité variable
Dans certains cas, l’IA est un argument de vente largement médiatisé pour de nouveaux produits, poussant les organisations à l’adopter. Parallèlement, ces systèmes sont de plus en plus invisibles, se retrouvant intégrés chez des fournisseurs en amont, intégrés comme sous-composants dans un nouveau produit, ou ajoutés dans un produit existant via une mise à jour logicielle automatique.
Parfois, ils sont même utilisés par des employés de manière non déclarée, hors de vue de la direction.
metamorworks/Shutterstock
La vulgarisation – et souvent le caractère caché – de l’adoption de l’IA imposent aux organisations de ne pas considérer la gouvernance de l’IA comme un simple exercice de conformité ou un défi technique. Au contraire, les dirigeants doivent se concentrer sur la construction des bonnes capacités internes et d’une culture propice à une utilisation sûre et responsable de l’IA au sein de leurs opérations.
Les bons éléments à considérer
Des recherches menées par l’Institut de Technologie Humaine de l’Université de Technologie de Sydney mettent en lumière trois éléments critiques que les organisations doivent maîtriser.
Tout d’abord, il est essentiel que les conseils d’administration et les cadres supérieurs aient une compréhension suffisante de l’IA pour exercer un contrôle significatif.
Cela ne signifie pas qu’ils doivent devenir des experts techniques, mais il est nécessaire qu’ils possèdent ce que l’on pourrait appeler une “compréhension minimale viable” de l’IA pour identifier les opportunités stratégiques et les risques associés, et poser les bonnes questions à la direction.
S’ils manquent de cette expertise, ils peuvent suivre des formations, recruter de nouveaux membres qualifiés, ou créer un comité consultatif d’experts en IA.
Responsabilité claire
Deuxièmement, les organisations doivent établir des lignes de responsabilité claires pour la gouvernance de l’IA. Cela implique de confier des responsabilités spécifiques à des personnes disposant de niveaux d’autorité appropriés.
De nombreuses entreprises leaders mettent déjà cela en pratique, en désignant un cadre supérieur avec des responsabilités explicitement définies, principalement dans un rôle de gouvernance, nécessitant un mélange unique de compétences : capacités de leadership, une certaine compréhension technique et la capacité de travailler transversalement entre les départements.
Troisièmement, les organisations doivent développer un cadre de gouvernance avec des processus simples et efficaces pour examiner leurs applications de l’IA, identifier les risques et trouver des moyens de les gérer.
La culture au cœur du dispositif
Mais surtout, il est crucial que les organisations cultivent une culture véritablement favorable autour de l’utilisation de l’IA.
Qu’est-ce que cela signifie ? C’est un environnement où le personnel, à tous les niveaux, comprend à la fois le potentiel et les risques de l’IA et se sent habilité à faire remonter des préoccupations. La “Politique d’IA Responsable” de Telstra est un exemple de bonne pratique dans un environnement d’affaires complexe.
Pour s’assurer que le conseil d’administration et la direction disposent d’une vision adéquate des activités et risques liés à l’IA, Telstra a mis en place un comité de contrôle dédié à l’examen des systèmes d’IA à fort impact. Ce comité regroupe des experts et des représentants des équipes juridiques, de données, de sécurité informatique, de confidentialité et de gestion des risques, afin d’évaluer les risques potentiels et de formuler des recommandations.
Il est important de noter que l’entreprise a également investi dans la formation de tout son personnel sur les risques et la gouvernance liés à l’IA.
Gumbariya/Shutterstock
Fédérer tous les acteurs
Ce volet culturel est d’autant plus crucial que l’adoption de l’IA se déroule généralement de manière imposée. Nos recherches antérieures montrent que de nombreux travailleurs australiens ressentent que l’IA leur est imposée sans consultation ou formation adéquates.
Cette situation ne crée pas seulement des résistances ; elle peut aussi faire manquer aux organisations des retours précieux sur la manière dont leurs employés utilisent réellement l’IA pour générer de la valeur et résoudre des problèmes.
Finalement, notre réussite collective avec l’IA dépend non pas tant de la technologie elle-même, mais des systèmes humains que nous bâtissons autour d’elle. Cela est important tant pour ceux qui dirigent une organisation que pour ceux qui y travaillent. Ainsi, lors de vos prochaines discussions sur l’opportunité d’acheter ou d’utiliser l’IA de manière innovante, ne vous concentrez pas uniquement sur la technologie. Questionnez plutôt : “Quelles doivent être les conditions concernant nos personnes, compétences et culture pour garantir le succès de cette initiative ?”
Notre point de vue
Il est essentiel d’aborder la question de l’intelligence artificielle avec une perspective engagée et réfléchie. À l’heure où son intégration dans nos systèmes organisationnels devient indissociable, nous devons veiller à ce que cette technologie soit utilisée non seulement de manière éthique mais également bénéfique pour toutes les parties prenantes. La responsabilité et la transparence doivent devenir des piliers centraux de notre démarche. En mettant l’accent sur la culture organisationnelle et l’encadrement des compétences, nous pouvons transformer l’IA en un véritable levier de progrès pour l’ensemble de la société, tout en minimisant les risques potentiels associés à son utilisation. En fin de compte, la clé réside dans notre capacité à allier innovation et humanité.