2.1. Risque d'opacité des systèmes d'IA
La nécessité de transparence dans le cadre de
traitements automatisés à des fins de profilage a
été souligné par le G29214. Il ne s'agit pas de
divulguer des secrets d'affaires mais de proposer une « intelligence
artificielle explicable » afin d'obtenir la confiance des
consommateurs215.
Néanmoins, dans le cadre de l'apprentissage automatique
supervisé, le phénomène de « black box
» empêche l'homme de connaitre le fonctionnement du logiciel.
Ce phénomène est lié à cette technologie qui
empêche de comprendre comment raisonne le logiciel lors du traitement. La
transparence du processus est donc illusoire.
Par ailleurs, l'opacité de certains systèmes
d'intelligence artificielle rend impossible l'audit des
systèmes216 et également le contrôle a
posteriori.
2.2. Risque de biais algorithmique
Le biais d'un algorithme est l'écart entre ce que dit
l'algorithme et la réalité217. Il existe deux types de
biais algorithmique218 : les « biais directs »,
généré par le codage de l'algorithme, et les «
biais indirects », créés par le design de
l'algorithme. Ces derniers ne sont pas créés directement par les
humains, mais indirectement lors de l'initialisation des algorithmes.
Le biais est susceptible de provoquer des discriminations et
de créer des atteintes tant collectives qu'individuelles et provoquer
des baisses d'opportunité, des pertes économiques,
212 Commission Européenne « Robustesse et
explicabilité de l'intelligence artificielle », 2020, p. 2 et s.
213 Commission Européenne, livre blanc sur
l'intelligence artificielle, op. cit., p.14, p.17
214 G29, «Guidelines on Automated individual
decision-making and Profiling for the purposes of Regulation
2016/679», 3 octobre 2017
215 J. Toscano, «Privacy By Design: What Needs to be
Done, How to do It, and How to Sell It to your Boss», Medium,
30 octobre 2018
216 E. Caprioli, «intelligence artificielle et RGPD
peuvent-ils cohabiter ?», L'usine Digitale, 30 janvier
2020
217 Institut Montaigne, «Algorithmes : contrôle des
biais S.V.P», mars 2020
218 A. Jean « Interview : The history and future of
algorithms», France 24 English, 18 février 2020
- 40 -
Les moyens d'autorégulation adaptés à
l'intelligence artificielle
des préjudices sociaux et des pertes de
liberté219. Or, lutter contre les biais algorithmiques
revient à se heurter au principe même de l'algorithme.
L'algorithme est par nature discriminant étant donné qu'il vise
à effectuer une distinction entre les individus en se basant sur
certaines caractéristiques220. Tout d'abord, il est
impossible de garantir simultanément une équité
individuelle et une équité de groupe221. Par ailleurs,
la mesure du biais n'est pas toujours possible, car il faudrait avoir
accès à des données sensibles, telles que l'orientation
sexuelle ou la religion. Par exemple, l'auditeur ne pourra pas vérifier
que son logiciel favorise les hommes de couleur blanche s'il ne peut pas
mesurer dans sa base de données le nombre d'hommes et le nombre de
personnes de couleur blanche.
L'intelligence artificielle soulève de nouveaux
risques, presque systématiquement susceptibles de porter des atteintes
élevées pour les droits et libertés des personnes
concernées. Le responsable de traitement doit donc accorder une
attention particulière aux risques d'opacité des systèmes
d'intelligence artificielle et de biais algorithmique, en amont et en aval du
traitement.
219 Future of Privacy Forum, «unfairness by algorithm:
distilling the harms of automated decision-making», 2017, p.4
220 A. Basdevant, «the rise of the blackbox
society», Coup Data
221 Institut Montaigne, « Algorithmes : contrôle
des biais S.V.P », mars 2020 p. 34
- 41 -
Les moyens d'autorégulation adaptés à
l'intelligence artificielle
| 
