Des pratiques douteuses chez certains constructeurs automobiles autonomes IA incitant les dénonciateurs 

Par Lance Eliot, l'IA Trends Insider 

Il y a le vieil adage selon lequel vous ne devriez pas regarder dans la cuisine lorsque vous allez dans certains restaurants pour manger un morceau. Lorsque vous voyez comment la nourriture est préparée, cela peut vous rendre malade.  

Vous pouvez appliquer cette règle à à peu près n'importe quelle entité qui fabrique n'importe quel type de produit. Imaginez si un grille-pain était fabriqué de manière défectueuse et était susceptible de prendre feu lors de sa mise en service. Nous serions sans aucun doute ravis d'avoir un initié qui a travaillé dans l'entreprise pour faire avancer le grille-pain au préalable.   

Les produits complexes sont particulièrement des cas où nous espérons qu'un initié se manifestera. Votre voiture par exemple est un produit assez complexe. Il contient des milliers et des milliers de composants. L'industrie automobile a eu quelques cas notables d'initiés qui ont aidé à révéler de graves problèmes internes concernant la production automobile.   

Tout compte fait, ce serait bien si quelqu'un à l'intérieur prenait la parole et essayait de rectifier un problème en coulisses, en particulier lorsqu'il est dangereux. 

Un tel initié qui s'exprime est généralement appelé un dénonciateur. 

Vous savez peut-être vaguement que Ralph Nader dans les années 1960 et 1970 a contribué à populariser le slogan du lanceur d'alerte au cours de ses efforts d'activiste. Jusque-là, la notion de parler d'un problème interne était mal vue. On s'attendait généralement à ce que les employés soient farouchement loyaux envers leur employeur et n'osent pas parler à leur tour. En fait, à ce jour, un dénonciateur est parfois ostracisé et étiqueté comme un rat ou un vif d'or pour ses efforts.   

Pour clarifier, tous les lanceurs d'alerte n'ont pas raison sur ce qu'ils rapportent. Il y a des occasions où un dénonciateur peut se tromper sur ce qu'il perçoit comme un problème. Ils pourraient mal interpréter les choses. Ils pourraient exagérer l'inquiétude. Vous ne pouvez pas supposer qu'un lanceur d'alerte est parfait dans ses objectifs. Parfois, un dénonciateur peut avoir des préjugés personnels et rechercher une forme de vengeance tordue ou avoir d'autres motifs inconvenants en tête.   

Mais cela ne signifie pas non plus qu'un dénonciateur devrait être axiomatiquement entaché de mécontent simplement parce qu'il agit en tant que dénonciateur. Pas du tout.   

Suivre la voie du dénonciateur peut être ardu et ruineux à bien des égards. Une personne peut être répertoriée comme une sorte de traître et être ternie à jamais, où qu'elle aille et tout ce qu'elle essaie de faire dans la vie. Décider de devenir un lanceur d'alerte nécessite une réflexion approfondie, en essayant d'équilibrer un sens personnel des codes éthiques par rapport au potentiel d'être connu comme un informateur ou un informateur.   

Nous pouvons être reconnaissants envers les dénonciateurs qui ont choisi de faire ce qu'il fallait, malgré les coûts personnels, et qui ont exposé des problèmes de fond qui n'auraient autrement pas vu le jour. Et, dans de nombreux cas, ces types de problèmes démonstratifs faisaient déjà partie intégrante des dommages causés aux utilisateurs du produit ou pourraient potentiellement le faire à l'avenir. Le dénonciateur a pu déclencher une chaîne d'événements qui a finalement réduit ou réduit ces résultats peu recommandables ou carrément déplorables.   

Comment un dénonciateur peut-il se manifester et donner l'alerte, pour ainsi dire?   

Un lanceur d'alerte dispose généralement de deux voies pour faire connaître les problèmes internes qu'il juge fâcheux. 

Une approche consiste à être un soi-disant lanceur d'alerte interne, ce qui signifie généralement que la personne qui lance l'alerte le fait dans les limites de l'entité dans laquelle elle travaille. Elle peut faire part de ses préoccupations à son superviseur ou à son responsable. Peut-être que l'entreprise a un processus de dénonciation formalisé qui implique de soumettre une préoccupation de sécurité par écrit. Etc. 

L'autre approche est le dénonciateur externe. C'est à ce moment qu'une personne qui est ou était un initié choisit de parler à l'extérieur des aspects internes qu'elle perçoit comme déconcertants. La personne pourrait informer les journalistes de ce qui se passe. La personne pourrait décider de parler à une entité de protection des consommateurs tierce. Etc. 

Plus tôt, j'ai mentionné que les voitures et l'industrie automobile ont eu divers dénonciateurs. 

Aux États-Unis, la Vehicle Safety Act (VSA) sert de ligne directrice générale sur la dénonciation et les lanceurs d'alerte dans le contexte des considérations relatives aux véhicules. Voici la définition formelle de la VSA donnée sur ce qu'est exactement un dénonciateur : « Le terme « dénonciateur » désigne tout employé ou entrepreneur d'un constructeur automobile, d'un fournisseur de pièces détachées ou d'un concessionnaire qui fournit volontairement au Secrétaire des informations originales relatives à tout véhicule automobile. défaut, non-conformité ou toute violation ou violation présumée de toute exigence de notification ou de rapport de ce chapitre, qui est susceptible de causer un risque déraisonnable de décès ou de blessures corporelles graves » (en remarque, le secrétaire auquel il est fait référence est le secrétaire aux transports ). 

La voie normale pour un dénonciateur automobile qui divulgue un problème à l'extérieur serait de contacter la NHTSA (National Highway Traffic Safety Administration), qui est une agence du département américain des Transports (US DOT). La mission déclarée de la NHTSA est de sauver des vies, de prévenir les blessures et de réduire les accidents liés aux véhicules aux États-Unis.   

Selon le site Web détaillant le programme de dénonciation de la NHTSA : « Les dénonciateurs sont une source importante d'informations pour la NHTSA sur les problèmes potentiels de sécurité des véhicules et les violations de la loi. La loi sur la sécurité des véhicules protège la confidentialité des dénonciateurs et permet à la NHTSA de verser une indemnité pécuniaire à un dénonciateur dont les informations mènent à la résolution d'une action coercitive pour violation de la loi. 

Il existe une grande variété de nuances dans le programme de dénonciation. Si vous ou quelqu'un que vous connaissez envisagez d'être un dénonciateur lié à un problème automobile, assurez-vous de vous tenir au courant de la question. Mieux vaut regarder avant de sauter. En outre, comme indiqué dans le VSA : « Un lanceur d'alerte peut être représenté par un avocat. »   

En ce qui concerne la portée de ce qui pourrait être considéré comme une soumission justifiée de dénonciation, voici ce que le site Web de la NHTSA indique : et les infractions à la Loi sur la sécurité des véhicules. Les enquêteurs de la NHTSA prennent en compte les informations fournies par les dénonciateurs, ce qui peut conduire à des actions formelles telles qu'une enquête, un rappel ou une action d'application de sanctions civiles. La NHTSA protège la confidentialité des dénonciateurs. La NHTSA peut verser une indemnité pécuniaire à un dénonciateur qui fournit des informations permettant de résoudre avec succès une action coercitive pour violation de la loi.   

Vous pensez peut-être que la dénonciation des voitures est un sujet quelque peu houleux ; la dénonciation automobile existe depuis des années.   

Eh bien, il y a quelque chose de nouveau que vous devez prendre en considération.   

L'avenir des voitures consiste en de véritables voitures autonomes basées sur l'IA. 

Permettez-moi un instant d'élaborer.   

Il n'y a pas de conducteur humain impliqué dans une vraie voiture autonome. Gardez à l'esprit que les vraies voitures autonomes sont conduites via un système de conduite AI. Il n'y a pas besoin d'un conducteur humain au volant, et il n'y a pas non plus de disposition permettant à un humain de conduire le véhicule. 

Voici une question intrigante qui mérite réflexion : Allons-nous voir des dénonciateurs sur l'avènement de véritables voitures autonomes basées sur l'IA, et si oui, à quel impact pouvons-nous nous attendre ?   

Avant d'entrer dans les détails, j'aimerais clarifier davantage ce que je veux dire lorsque je fais référence à de vraies voitures autonomes. 

Pour mon cadre sur les voitures autonomes AI, voir le lien ici: https://aitrends.com/ai-insider/framework-ai-self-driving-driverless-cars-big-picture/   

Pourquoi c'est un effort lunaire, voir mon explication ici: https://aitrends.com/ai-insider/self-driving-car-mother-ai-projects-moonshot/   

Pour en savoir plus sur les niveaux en tant que type d'échelle de Richter, voir ma discussion ici: https://aitrends.com/ai-insider/richter-scale-levels-self-driving-cars/ 

Pour l'argument de la bifurcation des niveaux, voir mon explication ici: https://aitrends.com/ai-insider/reframing-ai-levels-for-self-driving-cars-bifurcation-of-autonomy/   

Comprendre les niveaux des voitures autonomes 

Pour clarifier, les vraies voitures autonomes sont celles où l'IA conduit la voiture entièrement seule et il n'y a aucune assistance humaine pendant la tâche de conduite. 

Ces véhicules sans conducteur sont considérés comme des niveaux 4 et 5, tandis qu'une voiture qui nécessite un conducteur humain pour partager l'effort de conduite est généralement considérée au niveau 2 ou au niveau 3. Les voitures qui partagent la tâche de conduite sont décrites comme étant semi -autonome, et contiennent généralement une variété de modules complémentaires automatisés appelés ADAS (Advanced Driver-Assistance Systems).   

Il n'y a pas encore de vraie voiture autonome au niveau 5, que nous ne savons même pas encore si cela sera possible, ni combien de temps il faudra pour y arriver.   

Pendant ce temps, les efforts de niveau 4 tentent progressivement d'obtenir une certaine traction en subissant des essais routiers publics très étroits et sélectifs, bien qu'il y ait une controverse sur la question de savoir si ces tests devraient être autorisés en soi (nous sommes tous des cobayes à vie ou à mort dans une expérience se déroulant sur nos autoroutes et nos routes, certains affirment). 

Étant donné que les voitures semi-autonomes nécessitent un conducteur humain, l'adoption de ces types de voitures ne sera pas très différente de la conduite de véhicules conventionnels, il n'y a donc pas beaucoup de nouvelles en soi à couvrir à ce sujet (cependant, comme vous le verrez dans un instant, les points suivants sont généralement applicables).  

Pour les voitures semi-autonomes, il est important que le public soit averti d'un aspect inquiétant qui est apparu récemment, à savoir que malgré ces conducteurs humains qui continuent à publier des vidéos d'eux-mêmes s'endormant au volant d'une voiture de niveau 2 ou de niveau 3 , nous devons tous éviter d'être induits en erreur en leur faisant croire que le conducteur peut détourner son attention de la tâche de conduite tout en conduisant une voiture semi-autonome.   

Vous êtes la partie responsable des actions de conduite du véhicule, quelle que soit la quantité d'automatisation pouvant être lancée dans un niveau 2 ou 3.   

Pour savoir pourquoi le pilotage à distance ou l'utilisation de voitures autonomes est généralement évité, voir mon explication ici: https://aitrends.com/ai-insider/remote-piloting-is-a-self-driving-car-crutch/   

Pour vous méfier des fausses nouvelles concernant les voitures autonomes, consultez mes conseils ici: https://aitrends.com/ai-insider/ai-fake-news-about-self-driving-cars/   

Les implications éthiques des systèmes de conduite IA sont importantes, voir mon indication ici: https://aitrends.com/selfdrivingcars/ethically-ambiguous-self-driving-cars/   

Soyez conscient des pièges de la normalisation de la déviance en ce qui concerne les voitures autonomes, voici mon appel aux armes: https://aitrends.com/ai-insider/normalization-of-deviance-endangers-ai-self-driving-cars/ 

Voitures autonomes et lanceurs d'alerte   

Pour les vrais véhicules autonomes de niveau 4 et de niveau 5, aucun conducteur humain ne sera impliqué dans la tâche de conduite. Tous les occupants seront des passagers ; l'IA fait la conduite.   

Un aspect à discuter immédiatement est le fait que l'IA impliquée dans les systèmes de conduite d'IA d'aujourd'hui n'est pas sensible. En d'autres termes, l'IA est tout à fait un collectif de programmation et d'algorithmes informatiques, et certainement pas capable de raisonner de la même manière que les humains. 

Pourquoi cette insistance supplémentaire sur le fait que l'IA n'est pas sensible? 

Parce que je veux souligner que lorsque je discute du rôle du système de pilotage de l'IA, je n'attribue pas des qualités humaines à l'IA. Sachez qu'il existe une tendance continue et dangereuse de nos jours à anthropomorphiser l'IA. En substance, les gens attribuent une sensibilité de type humain à l'IA d'aujourd'hui, malgré le fait indéniable et incontestable qu'aucune IA de ce type n'existe encore.   

Avec cette clarification, vous pouvez imaginer que le système de conduite AI ne «saura» pas nativement d'une manière ou d'une autre les facettes de la conduite. La conduite et tout ce que cela implique devront être programmés dans le cadre du matériel et des logiciels de la voiture autonome.   

Plongeons-nous dans la myriade d'aspects qui viennent jouer sur ce sujet.   

Vous pourriez être choqué de penser qu'il y aurait toute sorte de dénonciation possible liée aux voitures autonomes. 

La plupart des gens ont tendance à supposer que les efforts internes de développement de ces systèmes de conduite d'IA de pointe et de construction d'une voiture autonome sont effectués avec les meilleures et les meilleures intentions. Certains comparent l'effort à l'atterrissage sur la lune, une aspiration plutôt impressionnante.   

Certes, tout ce qui se passe dans les coulisses de la fabrication de voitures autonomes est complètement irréprochable. Personne ne chercherait à produire une voiture autonome qui soit dangereuse. De plus, on espère que les voitures autonomes ouvriront une ère de mobilité pour tous, permettant à ceux qui n'ont pas facilement accès au transport en commun aujourd'hui d'avoir un accès transparent à la mobilité omniprésente. Et il y a aussi la conviction que les voitures autonomes réduiront considérablement le nombre de blessures et de décès dus aux accidents de voiture à conduite humaine.   

Eh bien, je ne veux pas vous choquer, mais ce qui se passe dans la cuisine a le potentiel de servir un repas qui a la possibilité de nuire aux gens. 

Certains efforts de voitures autonomes coupent les coins ronds, essayant de répondre aux appels d'offres urgents de la haute direction et ne sont pas en mesure d'entreprendre autant de doubles vérifications et de triples vérifications qu'ils le jugent nécessaire. De même, certains membres de la haute direction ne sont pas conscients du manque d'attention aux détails et de l'omission ou du contournement des aspects de la qualité de la sécurité lors des activités de développement de voitures autonomes dans leurs groupes de développement.   

Cela fonctionne dans les deux sens.   

Gardez à l'esprit qu'il y a une sorte de course en cours. 

Qui atteindra en premier les vraies voitures autonomes ?   

Comme pour aller sur la lune, beaucoup de choses se jouent sur le premier pour faire de cette voiture autonome un « pas de géant » pour l'humanité. Des milliards et des milliards de dollars affluent dans ces efforts tant vantés. Il n'y a presque pas encore de revenus provenant des efforts de voiture autonome. L'argent entre et on s'attend à ce que quelque chose de miraculeux émerge.   

Sous ce genre de pression, vous pouvez imaginer que certains éléments pourraient être négligés dans un effort pour aller de l'avant. Les préoccupations concernant les aspects de sécurité peuvent parfois être mises en veilleuse. Les fonctionnalités du système de conduite IA qui semblent essentielles peuvent être insérées dans la liste existante des cas de bord ou de coin, ce qui signifie que ce sont des capacités dont on suppose qu'elles peuvent être traitées plus tard.   

Cela ne suggère pas que quoi que ce soit de cette nature soit en quelque sorte endémique ou trouvé partout. Ce serait complètement injuste pour tous ceux qui s'efforcent de produire des voitures autonomes. Ce sont les héros qui s'efforcent puissamment, chaque jour, de mettre au monde des voitures autonomes et, ce faisant, d'atteindre les idéaux précédemment cités.   

De plus, comme je l'ai mentionné à plusieurs reprises dans mes chroniques, au cours des dernières années, les constructeurs automobiles et les constructeurs automobiles autonomes ont adopté une position beaucoup plus forte envers la sécurité. Cela comprend l'embauche d'experts de haut niveau en sécurité automobile et le lancement d'efforts internes importants et significatifs pour améliorer la compréhension de ce qu'est la sécurité. En outre, de nombreuses entreprises de voitures autonomes disposent désormais de programmes internes de « dénonciation », généralement appelés plus simplement programmes de signalement de sécurité, qui visent à amener les initiés à se manifester lorsqu'ils voient quelque chose qu'ils perçoivent comme fâcheux. 

La préoccupation apparente est qu'il y a de réelles chances dans une telle atmosphère de gung-ho à haute pression d'une pomme pourrie ici ou là. Pour être clair, ce n'est pas nécessairement le cas qu'une personne néfaste va planter quelque chose de néfaste dans un système de conduite d'IA (bien que cela puisse arriver). Lorsque les développeurs d'IA tournent à plein régime, il y a un risque de manquer des garanties importantes ou de ne pas avoir les bons outils de développement, ou d'être débordés et en sous-effectif.   

Dans l'ensemble, le résultat peut être qu'un bogue ou un problème caché s'est introduit dans le système de conduite AI. Pas forcément intentionnellement. Tout simplement parce que les freins et contrepoids sont insuffisants et que d'autres complications sont impliquées.   

Lorsqu'une voiture autonome a un conducteur humain de secours dans le véhicule, la croyance est que cela est suffisant pour détecter toute action fâcheuse que le système de conduite AI pourrait faire. Dans cette façon de penser, c'est comme avoir un dégustateur assis à votre table à manger. La personne est censée attraper tout ce qui peut égarer les choses.   

Comme mentionné dans mes chroniques, tout le monde ne pense pas qu'il s'agisse d'un moyen approprié de détecter les problèmes et certains déplorent qu'utiliser les voies publiques de cette manière est totalement inapproprié. Si nous utilisons l'analogie d'un dégustateur, c'est comme si le dégustateur mangeait le repas en même temps qu'une personne dînait. Pas une forme de sécurité satisfaisante pour la personne qui mange simultanément ce qui pourrait être un aliment toxique. Essentiellement, le conducteur de secours peut ne pas attraper un acte de conduite fâcheux à temps et le véhicule s'écrase sur un piéton ou une voiture à conduite humaine.    

De plus, lorsque vous voyez une voiture autonome conduire dans la rue, et le faire sans conducteur de secours humain, comment pouvez-vous savoir que le système de conduite AI sera assurément un conducteur sûr ?   

Vous pas.   

La réplique habituelle est que si le véhicule autonome se fraie un chemin dans une rue de la ville et n'a heurté personne, cela doit signifier que le système de conduite AI se porte très bien, merci beaucoup. En effet, ceux qui continuent à faire ces trajets dans des voitures autonomes et à faire ces témoignages jaillissants ont tendance à tomber dans la même catégorie. Ils croient que, simplement parce que la voiture autonome les a conduits en toute sécurité à l'épicerie, c'est comme si cela fournissait une preuve suffisante et incontestable que la voiture autonome peut aller n'importe où en toute sécurité.   

Ils tombent dans un piège mental classique. C'est une erreur courante en matière de statistiques. Ils supposent que leur seul cas particulier conduit à des généralisations étendues.   

Il se peut que le système de conduite IA rencontre une situation telle qu'un piéton qui se précipite soudainement dans la rue et que la voiture autonome ne s'arrête pas à temps (supposons que cela aurait pu). La personne qui avait fait le trajet jusqu'à l'épicerie n'avait pas rencontré de piéton qui s'interposait et elle n'a donc aucune idée de ce que la voiture autonome fera dans un tel cadre. Loin des yeux, loin du cœur.   

Revenons à ce que dit la NHTSA sur les voitures en général et la portée des dénonciations possibles qui pourraient être applicables : et les violations de la Loi sur la sécurité des véhicules.   

Traditionnellement, ce type de portée a tendance à se concentrer sur les pièces mécaniques d'une voiture.   

De nos jours, les voitures sont devenues essentiellement des ordinateurs sur roues. Le logiciel aborde de plus en plus le champ des sujets qui impliquent des défauts de sécurité des véhicules, la non-conformité et les violations de la VSA.   

Dans quels domaines des systèmes de pilotage de l'IA pouvons-nous anticiper des problèmes potentiels ? 

Tout d'abord, des capteurs sont utilisés pour collecter des données sur la scène de conduite. Les voitures autonomes utilisent généralement des caméras vidéo, des radars, des LIDAR, des unités à ultrasons, des dispositifs d'imagerie thermique, etc. Ce sont les yeux et les oreilles du système de conduite AI. 

Supposons qu'un initié sache que les capteurs choisis pour le modèle de voiture autonome sur lequel ils travaillent présentent des problèmes de sécurité qui ne sont pas traités. Une fois la voiture autonome mise en service, il se peut que, dans certaines conditions, un capteur particulier fournisse des données erronées. À partir de là, le système de conduite AI n'a peut-être pas été programmé pour calculer correctement ce qu'il faut faire.   

Un mauvais résultat peut arriver sur nos voies publiques.   

Une autre voie possible consiste en la fusion des données entre plusieurs capteurs. Connue sous le nom de MSDF (fusion de données multi-capteurs), la technique de fusion utilisée est peut-être basée sur le fait que les caméras vidéo sont considérées comme « bonnes » même si l'entrée radar dit le contraire (l'écart est simplement ignoré plutôt que de lever un drapeau ou de nécessiter un ajout étapes à essayer de résoudre). Comment les préoccupations de sécurité sont-elles intégrées dans cette forme de programmation?   

La liste se rallonge de plus en plus.   

Il y a le modèle virtuel qui est maintenu par le système de conduite AI et représente en interne l'environnement existant et prévu. Il pourrait certainement y avoir des problèmes de sécurité quant à la façon dont ce code fonctionne. Il y a la partie planificateur d'action du système de conduite AI qui essaie de calculer quelles prochaines actions du véhicule autonome sont les plus prudentes à prendre. Encore une fois, les problèmes de sécurité pourraient résider là. Etc.   

Pour plus de détails sur les ODD, voir mon indication sur ce lien ici: https://www.aitrends.com/ai-insider/amalgamating-of-operational-design-domains-odds-for-ai-self-driving-cars/ 

Sur le sujet des voitures autonomes tout-terrain, voici mes précisions: https://www.aitrends.com/ai-insider/off-roading-as-a-challenging-use-case-for-ai-autonomous-cars/ 

J'ai insisté pour qu'il y ait un responsable de la sécurité chez les constructeurs automobiles autonomes, voici le scoop: https://www.aitrends.com/ai-insider/chief-safety-officers-needed-in-ai-the-case-of-ai-self-driving-cars/ 

Attendez-vous à ce que les poursuites judiciaires deviennent progressivement une partie importante de l'industrie automobile autonome, voir mes détails explicatifs ici: https://aitrends.com/selfdrivingcars/self-driving-car-lawsuits-bonanza-ahead/ 

Conclusion 

Voici la ligne de fond.   

Alors que les voitures autonomes commencent à émerger de plus en plus des laboratoires et des efforts de R&D, elles seront utilisées sur les voies publiques. Le nombre de ces voitures autonomes sur les routes commencera à augmenter. L'augmentation du nombre de ces véhicules autonomes aura tendance à augmenter quelque peu les chances que quelque chose de négatif se produise. 

Ceux-ci font généralement la une des journaux. 

L'incident de la voiture autonome qui a fait la une des journaux avait-il un problème interne qui aurait pu être connu d'un initié, et pourtant ils ont décidé de ne pas dire ce qu'ils savaient ou soupçonnaient sérieusement ?   

Je parierais que nous assisterons probablement à une émergence de lanceurs d'alerte concernant les voitures autonomes. 

Toutes ces instances ne seront pas valides. Certains le feront.   

L'impact est probable que cela amènera certains constructeurs automobiles et fabricants de technologies de voiture autonome à revoir ce qu'ils font. Vous pouvez certainement vous attendre à ce que ces types de signalements de dénonciateurs suscitent davantage d'intérêt réglementaire.   

Ce sera une surprise pour certains, et pas du tout une surprise pour d'autres. Ceux qui ont déjà travaillé dans de telles «cuisines» et qui sentent déjà que certaines des voitures autonomes qui arrivent sur les routes sont un repas effrayant et insuffisamment cuit.   

Nous le saurons une fois que les sifflets commenceront à retentir. 

Copyright 2021 Dr Lance Eliot  

http://ai-selfdriving-cars.libsyn.com/website 

Source : https://www.aitrends.com/ai-insider/questionable-practices-at-some-ai-autonomous-car-makers-spurring-whistleblowers/