Les données ne sont pas abstraites : elles ont un impact direct sur la vie des gens.
En 2019, un robot de livraison alimenté par l'IA momentanément bloqué un utilisateur de fauteuil roulant d'accéder en toute sécurité au trottoir lorsqu'il traverse une route très fréquentée. Parlant de l'incident, la personne a noté : « Il est important que le développement des technologies [ne mette pas] les personnes handicapées en jeu comme garantie. »
À l’instar d’autres groupes minoritaires, les personnes handicapées souffrent depuis longtemps de données et d’outils de données défectueux. Les handicaps sont divers, nuancés et dynamiques ; ils ne correspondent pas à la structure formelle de l’IA, qui est programmée pour trouver des modèles et former des groupes. Parce que l’IA traite toutes les données aberrantes comme du « bruit » et n’en tient pas compte, les personnes handicapées sont trop souvent exclues de ses conclusions.
Les handicaps sont divers, nuancés et dynamiques ; ils ne correspondent pas à la structure formelle de l’IA, qui est programmée pour trouver des modèles et former des groupes.
Prenons par exemple le cas d'Elaine Herzberg, qui a été heurtée et tuée par un SUV Uber autonome en 2018. Au moment de la collision, Herzberg poussait un vélo, ce qui signifiait que le système d'Uber avait du mal à la catégoriser et oscillait entre la qualifiant de « véhicule », de « vélo » ," et autre." La tragédie a soulevé de nombreuses questions chez les personnes handicapées ; une personne en fauteuil roulant ou en scooter risquerait-elle la même erreur de classification mortelle ?
Nous avons besoin d’une nouvelle façon de collecter et de traiter les données. Les « données » vont des informations personnelles, des commentaires des utilisateurs, des CV, du multimédia, des mesures des utilisateurs et bien plus encore, et elles sont constamment utilisées pour optimiser notre logiciel. Cependant, cela ne se fait pas sans comprendre l'éventail des moyens néfastes que cela peut prendre et is utilisé entre de mauvaises mains, ou lorsque les principes ne sont pas appliqués à chaque point de contact du bâtiment.
Nos produits attendent depuis longtemps un nouveau cadre de données plus équitable afin de garantir que les données sont gérées en pensant aux personnes handicapées. Si ce n’est pas le cas, les personnes handicapées seront confrontées à davantage de frictions et de dangers dans une vie quotidienne de plus en plus dépendante des outils numériques.
Des données mal informées entravent la création de bons outils
Les produits qui manquent d’accessibilité n’empêchent peut-être pas les personnes handicapées de quitter leur domicile, mais ils peuvent les empêcher d’accéder à des points essentiels de la vie comme des soins de santé de qualité, l’éducation et les livraisons à la demande.
Nos outils sont un produit de leur environnement. Ils reflètent la vision du monde et la vision subjective de leurs créateurs. Depuis trop longtemps, les mêmes groupes de personnes supervisent les systèmes de données défectueux. Il s’agit d’une boucle fermée, dans laquelle les préjugés sous-jacents se perpétuent et où des groupes qui étaient déjà invisibles le restent. Mais à mesure que les données progressent, cette boucle devient une boule de neige. Nous avons affaire à une machine-apprentissage modèles – si on leur apprend assez longtemps que « ne pas être X » (lire : blanc, valide, cisgenre) signifie ne pas être « normal », ils évolueront en s'appuyant sur ces fondations.
Les données sont interconnectées de manière invisible pour nous. Il ne suffit pas de dire que votre algorithme n’exclura pas les personnes handicapées enregistrées. Des biais sont présents dans d’autres ensembles de données. Par exemple, aux États-Unis, il est illégal de refuser un prêt hypothécaire à quelqu’un parce qu’il est noir. Mais en basant fortement le processus sur les cotes de crédit – qui ont biais inhérents préjudiciable aux personnes de couleur – les banques indirectement exclure ce segment de la société.
Pour les personnes handicapées, les données indirectement biaisées pourraient potentiellement concerner la fréquence de l’activité physique ou le nombre d’heures de déplacement par semaine. Voici un exemple concret de la façon dont les préjugés indirects se traduisent dans les logiciels : si un algorithme de recrutement étudie les mouvements du visage des candidats lors d'un entretien vidéo, une personne ayant un handicap cognitif ou une déficience motrice ressentira différents obstacles qu’un candidat pleinement valide.
Le problème vient également du fait que les personnes handicapées ne sont pas considérées comme faisant partie du marché cible des entreprises. Lorsque les entreprises commencent à réfléchir à leurs utilisateurs idéaux, les handicaps des personnes ne sont souvent pas pris en compte, surtout lorsqu'ils sont moins visibles, comme les maladies mentales. Cela signifie que les données utilisateur initiales utilisées pour itérer des produits ou des services ne proviennent pas de ces personnes. En fait, 56% des organisations ne testent toujours pas systématiquement leurs produits numériques auprès des personnes handicapées.
Si les entreprises technologiques incluaient de manière proactive des personnes handicapées dans leurs équipes, il est bien plus probable que leur marché cible serait plus représentatif. De plus, tous les travailleurs technologiques doivent être conscients et prendre en compte les exclusions visibles et invisibles de leurs données. Ce n’est pas une tâche simple et nous devons collaborer dans ce domaine. Idéalement, nous aurons des conversations, des forums et un partage de connaissances plus fréquents sur la manière d'éliminer les biais indirects des données que nous utilisons quotidiennement.
Nous avons besoin d’un test de résistance éthique pour les données
Nous testons nos produits en permanence, sur leur convivialité, leur engagement et même leurs préférences en matière de logo. Nous savons quelles couleurs sont les plus efficaces pour convertir les clients payants et quels sont les mots qui résonnent le plus auprès des gens, alors pourquoi ne fixons-nous pas la barre en matière d'éthique des données ?
En fin de compte, la responsabilité de créer une technologie éthique n’incombe pas seulement au sommet. Ceux qui posent jour après jour la maçonnerie d'un produit sont également responsables. C'était l'ingénieur de Volkswagen (et non le PDG de l'entreprise) qui était envoyé en prison pour avoir développé un dispositif permettant aux voitures d'échapper aux règles américaines en matière de pollution.
Ingénieurs, designers, chefs de produits ; nous devons tous reconnaître les données dont nous disposons et réfléchir à why nous le collectons et how nous le collectons. Cela signifie disséquer les données que nous demandons et analyser nos motivations. Est-il toujours judicieux de poser des questions sur le handicap, le sexe ou la race d'une personne ? Comment le fait de disposer de ces informations profite-t-il à l’utilisateur final ?
Chez Stark, nous avons développé un cadre en cinq points à appliquer lors de la conception et de la création de tout type de logiciel, service ou technologie. Nous devons aborder :
- Quelles données nous collectons.
- Pourquoi nous le collectons.
- Comment il sera utilisé (et comment il peut être utilisé à mauvais escient).
- Simulez IFTTT : « Si ceci, alors cela. » Expliquez les scénarios possibles dans lesquels les données peuvent être utilisées de manière néfaste, ainsi que les solutions alternatives. Par exemple, comment les utilisateurs peuvent-ils être affectés par une violation de données à grande échelle ? Que se passe-t-il si ces informations privées deviennent publiques pour leur famille et leurs amis ?
- Expédiez ou jetez l’idée.
Si nous ne pouvons expliquer nos données qu’en utilisant une terminologie vague et des attentes peu claires, ou en étirant la vérité, nous ne devrions pas être autorisés à disposer de ces données. Le framework nous oblige à décomposer les données de la manière la plus simple. Si nous n’y parvenons pas, c’est parce que nous ne sommes pas encore équipés pour y faire face de manière responsable.
L'innovation doit inclure les personnes handicapées
Une technologie de données complexe est entrer dans de nouveaux secteurs tout le temps, du développement de vaccins au robotaxis. Tout préjugé contre les personnes handicapées dans ces secteurs les empêche d’accéder aux produits et services les plus avancés. À mesure que nous devenons de plus en plus dépendants de la technologie dans tous les domaines de notre vie, les risques d’exclusion dans la manière dont nous menons nos activités quotidiennes augmentent.
Il s’agit avant tout d’une réflexion prospective et d’une inclusion dans votre produit dès le départ. L'argent et/ou l'expérience ne sont pas des facteurs limitants ici : changer votre processus de réflexion et votre parcours de développement est gratuit ; c'est juste un pivot conscient dans une meilleure direction. Même si le coût initial peut être élevé, les bénéfices que vous perdriez si vous ne parveniez pas à accéder à ces marchés, ou si vous finissiez par moderniser votre produit, dépassent de loin cette dépense initiale. Cela est particulièrement vrai pour les entreprises qui ne pourront pas accéder aux contrats universitaires ou gouvernementaux sans se conformer.
Ainsi, les entreprises en démarrage intègrent les principes d’accessibilité dans le développement de leurs produits et collectent des données sur les utilisateurs pour renforcer constamment ces principes. Le partage de données entre vos équipes d'intégration, de vente et de conception vous donnera une image plus complète des domaines dans lesquels vos utilisateurs rencontrent des difficultés. Les entreprises à un stade ultérieur devraient procéder à une auto-évaluation pour déterminer les lacunes de ces principes dans leur produit, et exploiter les données historiques et les commentaires des nouveaux utilisateurs pour générer un correctif.
Une refonte de l’IA et des données ne consiste pas seulement à adapter le cadre des entreprises. Nous avons encore besoin que les personnes à la barre soient plus diversifiées. Les champs restent majoritairement masculin et blanc, et en technologie, il en existe de nombreux comptes de première main d'exclusion et biais envers les personnes handicapées. Tant que les équipes chargées de gérer les outils de données ne seront pas elles-mêmes plus diversifiées, la croissance des pays continuera d'être étouffée et les personnes handicapées seront parmi les victimes les plus durement touchées.
Source : https://techcrunch.com/2021/04/19/flaved-data-is-putting-people-with-disabilities-at-risk/
- accès
- accessibilité
- d'activités
- AI
- algorithme
- parmi
- cuisson
- Banks
- bbc
- Noir
- violation
- Développement
- voitures
- CEO
- fonds à capital fermé
- Co-fondateur
- cognitif
- Collecte
- Sociétés
- Société
- continuer
- contrats
- conversations
- La création
- crédit
- Clients
- données
- violation de données
- éthique des données
- journée
- traitement
- Livraisons
- page de livraison.
- Conception
- Création de Design
- Développement
- numérique
- Invalidité
- "Early Bird"
- stade précoce
- Éducation
- ingénieur
- Environment
- éthique
- Visage
- famille
- Des champs
- Figure
- s'adapter
- Fixer
- Focus
- formulaire
- Avant
- Framework
- Gratuit
- Bien
- Croissance
- Santé
- la médecine
- ici
- Embauchons
- Comment
- How To
- HTTPS
- idée
- Illégal
- maladie
- Impact
- inclusion
- d'information
- Interview
- IT
- l'étiquetage
- Nouveautés
- Des facteurs limitants
- Gamme
- prêt
- logo
- Location
- Marché
- Marchés
- La santé mentale
- Métrique
- minorité
- Mission
- mobilité
- de l'argent
- Hypothéquer
- Onboarding
- Autre
- Réviser
- Personnes
- image
- Pivoter
- représentent
- Privé
- Produit
- le développement de produits
- Produits
- public
- qualité
- soins de santé de qualité
- Race
- Analyse
- axe robotique
- Courir
- vente
- scooter
- Secteurs
- conduite autonome
- sens
- Services
- mise
- Relations sexuelles
- étapes
- So
- Société
- Logiciels
- Solutions
- Étape
- Commencer
- Commencez
- États
- stress
- études
- combustion propre
- Système
- Target
- technologie
- Les technologies
- Technologie
- tester
- En pensant
- fiable
- top
- traite
- nous
- Uni
- États-Unis
- us
- convivialité
- utilisateurs
- Vaccinez
- Vidéo
- volkswagen
- semaine
- WHO
- dans les
- des mots
- ouvriers