Práticas questionáveis ​​em alguns fabricantes de automóveis autônomos de IA estimulando denunciantes 

Por Lance Eliot, o AI Trends Insider 

Existe o velho ditado de que você não deve olhar para a cozinha quando vai a alguns restaurantes ou lanchonetes para comer alguma coisa. Quando você vê como a comida está sendo preparada, isso pode deixá-lo enjoado.  

Você pode aplicar esta regra a praticamente qualquer entidade que faça qualquer tipo de produto. Imagine se uma torradeira estivesse sendo fabricada de maneira defeituosa e pudesse pegar fogo quando colocada em uso. Sem dúvida, gostaríamos de ter um insider que trabalhasse na empresa fazendo a torradeira se apresentar com antecedência.   

Produtos complexos são especialmente casos em que esperamos que um insider se apresente. Seu carro, por exemplo, é um produto bastante complexo. Ele contém milhares e milhares de componentes. A indústria automotiva teve alguns casos notáveis ​​de insiders que ajudaram a revelar sérios problemas internos em relação à produção de automóveis.   

Ao todo, com certeza seria bom se alguém de dentro se manifestasse e tentasse corrigir um problema nos bastidores, principalmente quando perigoso. 

Esse insider que fala abertamente é normalmente referido como um Denunciante. 

Você pode estar vagamente ciente de que Ralph Nader, nas décadas de 1960 e 1970, ajudou a popularizar o slogan do denunciante durante seus esforços ativistas. Até aquele momento, a ideia de falar sobre uma questão interna era desaprovada. Em geral, esperava-se que os funcionários fossem extremamente leais ao empregador e não ousassem falar fora de hora. Na verdade, até hoje, às vezes, um denunciante é condenado ao ostracismo e rotulado como rato ou delator por seus esforços.   

Para esclarecer, nem todos os denunciantes estão certos sobre o que relatam. Há ocasiões em que um denunciante pode estar enganado sobre o que considera um problema. Eles podem interpretar mal as coisas. Eles podem exagerar na preocupação. Você não pode assumir que um denunciante é perfeito em seus objetivos. Às vezes, um denunciante pode estar abrigando preconceitos pessoais e buscando alguma forma de vingança distorcida ou ter outros motivos impróprios em mente.   

Mas isso também não significa que um denunciante deva ser axiomaticamente contaminado como um descontente simplesmente por ter agido como denunciante. De jeito nenhum.   

Seguir a rota do denunciante pode ser árduo e ruinoso de várias maneiras. Uma pessoa pode ser listada como uma espécie de traidor e ser manchada para sempre, onde quer que vá e tudo o mais que tente fazer na vida. Decidir se tornar um denunciante requer um pensamento pesado, tentando equilibrar um senso pessoal de códigos éticos e o potencial de ser conhecido como um informante ou fofoqueiro.   

Podemos ser gratos por aqueles denunciantes que escolheram fazer a coisa certa, apesar dos custos pessoais, e expuseram problemas substantivos que de outra forma não teriam surgido. E, em muitos desses casos, esses tipos de problemas demonstrativos já eram essenciais para prejudicar aqueles que usavam o produto ou poderiam fazê-lo no futuro. O denunciante foi capaz de iniciar uma cadeia de eventos que acabou restringindo ou reduzindo os resultados desagradáveis ​​ou deploráveis.   

Como um denunciante se apresenta e basicamente apita, por assim dizer?   

Normalmente, há dois caminhos para um denunciante tornar conhecidos os problemas internos que ele acredita serem desagradáveis. 

Uma abordagem é ser um denunciante de relatórios internos, o que geralmente significa que a pessoa que faz a denúncia faz isso dentro dos limites da entidade para a qual está trabalhando. Eles podem levar suas preocupações ao seu supervisor ou gerente. Talvez a empresa tenha um processo de denúncia formalizado que envolve o envio de uma preocupação de segurança por escrito. E assim por diante. 

A outra abordagem é o denunciante de divulgação externa. É quando uma pessoa que é ou foi insider opta por falar externamente sobre os aspectos internos que percebe como desconcertantes. A pessoa pode contar aos repórteres o que está acontecendo. A pessoa pode decidir falar com uma entidade de proteção ao consumidor terceirizada. Etc. 

Anteriormente, mencionei que os carros e a indústria automotiva tiveram vários denunciantes. 

Nos Estados Unidos, o Vehicle Safety Act (VSA) serve como diretriz abrangente sobre denúncias e denunciantes no contexto de considerações veiculares. Aqui está a definição formal da VSA sobre o que exatamente é um denunciante: “O termo ''denunciante'' significa qualquer funcionário ou contratado de um fabricante de veículos motorizados, fornecedor de peças ou concessionária que fornece voluntariamente ao Secretário informações originais relacionadas a qualquer veículo automotor defeito, descumprimento ou qualquer violação ou alegada violação de qualquer notificação ou requisito de relatório deste capítulo, que possa causar risco irracional de morte ou lesões físicas graves” (como nota lateral, o Secretário referido é o Secretário de Transportes ). 

O caminho normal para um denunciante relacionado a carros que vai divulgar um problema externamente seria entrar em contato com a NHTSA (National Highway Traffic Safety Administration), que é uma agência do Departamento de Transporte dos EUA (US DOT). A missão declarada da NHTSA é salvar vidas, prevenir lesões e reduzir acidentes relacionados com veículos nos Estados Unidos.   

De acordo com o site que detalha o programa de denunciantes da NHTSA: “Os denunciantes são uma fonte importante de informações para a NHTSA sobre possíveis problemas de segurança veicular e violações da lei. A Lei de Segurança Veicular protege a confidencialidade dos denunciantes e permite que a NHTSA pague um prêmio monetário a um denunciante cujas informações levem à resolução bem-sucedida de uma ação de execução por violações da lei”. 

Há uma grande variedade de nuances no programa de denúncias. Se você ou alguém que você conhece está pensando em ser um denunciante relacionado a um problema automotivo, certifique-se de estar atualizado sobre o assunto. Melhor olhar antes de pular. Além disso, conforme declarado no VSA: “Um denunciante pode ser representado por um advogado”.   

Em termos do escopo do que pode ser considerado uma submissão garantida de denúncia, aqui está o que o site da NHTSA indica: "A NHTSA recebe informações de denunciantes em uma ampla variedade de tópicos, incluindo potenciais defeitos de segurança do veículo, não conformidade com os Padrões Federais de Segurança de Veículos Motorizados, e violações da Lei de Segurança Veicular. Os investigadores da NHTSA consideram as informações fornecidas por denunciantes, que podem levar a ações formais como uma investigação, recall ou ação de execução de pena civil. NHTSA protege a confidencialidade dos denunciantes. A NHTSA pode pagar um prêmio em dinheiro a um denunciante que forneça informações que levem à resolução bem-sucedida de uma ação de execução por violações da lei. ”   

Você pode estar pensando que denunciar carros é um assunto um tanto enfadonho; denúncias sobre carros ocorrem há anos.   

Bem, há algo novo que você precisa dar a devida consideração.   

O futuro dos carros consiste em verdadeiros carros autônomos baseados em IA. 

Permita-me um momento para elaborar.   

Não há um motorista humano envolvido em um verdadeiro carro que dirige sozinho. Lembre-se de que os verdadeiros carros que dirigem sozinhos são conduzidos por um sistema de direção de IA. Não há necessidade de um motorista humano ao volante, nem há provisão para um humano dirigir o veículo. 

Aqui está uma questão intrigante que vale a pena ponderar: Veremos denunciantes sobre o advento dos verdadeiros carros autônomos baseados em IA e, em caso afirmativo, que impacto podemos esperar?   

Antes de entrar em detalhes, gostaria de esclarecer melhor o que quero dizer quando me refiro a verdadeiros carros autônomos. 

Para minha estrutura sobre carros autônomos de IA, veja o link aqui: https://aitrends.com/ai-insider/framework-ai-self-driving-driverless-cars-big-picture/   

Por que esse é um esforço de moonshot, veja minha explicação aqui: https://aitrends.com/ai-insider/self-driving-car-mother-ai-projects-moonshot/   

Para saber mais sobre os níveis como um tipo de escala Richter, veja minha discussão aqui: https://aitrends.com/ai-insider/richter-scale-levels-self-driving-cars/ 

Para o argumento sobre a bifurcação dos níveis, veja minha explicação aqui: https://aitrends.com/ai-insider/reframing-ai-levels-for-self-driving-cars-bifurcation-of-autonomy/   

Compreendendo os níveis de carros autônomos 

Para esclarecer, os verdadeiros carros autônomos são aqueles em que a IA dirige o carro inteiramente por conta própria e não há nenhuma assistência humana durante a tarefa de dirigir. 

Esses veículos sem motorista são considerados Nível 4 e Nível 5, enquanto um carro que requer um motorista humano para compartilhar o esforço de direção é geralmente considerado no Nível 2 ou Nível 3. Os carros que compartilham a tarefa de dirigir são descritos como semi -autônomo e normalmente contém uma variedade de complementos automatizados que são referidos como ADAS (Advanced Driver-Assistance Systems).   

Ainda não há um carro autônomo de verdade no Nível 5, que ainda nem sabemos se isso será possível e nem quanto tempo levará para chegar lá.   

Enquanto isso, os esforços do Nível 4 estão gradualmente tentando obter alguma tração passando por testes muito estreitos e seletivos em vias públicas, embora haja controvérsia sobre se esse teste deve ser permitido por si só (somos todos cobaias de vida ou morte em um experimento ocorrendo em nossas rodovias e atalhos, afirmam alguns). 

Como os carros semi-autônomos exigem um motorista humano, a adoção desses tipos de carros não será muito diferente da condução de veículos convencionais, portanto, não há muito novo por si para abordar sobre esse tópico (porém, como você verá em um momento, os pontos a seguir apresentados são geralmente aplicáveis).  

Para carros semi-autônomos, é importante que o público seja avisado sobre um aspecto perturbador que vem surgindo ultimamente, a saber, apesar dos motoristas humanos que continuam postando vídeos de si mesmos adormecendo ao volante de um carro de Nível 2 ou Nível 3 , todos precisamos evitar ser enganados, acreditando que o motorista pode desviar sua atenção da tarefa de dirigir enquanto dirige um carro semi-autônomo.   

Você é a parte responsável pelas ações de direção do veículo, independentemente de quanta automação possa ser lançada no Nível 2 ou Nível 3.   

Por que a pilotagem remota ou a operação de carros autônomos geralmente são evitadas, veja minha explicação aqui: https://aitrends.com/ai-insider/remote-piloting-is-a-self-driving-car-crutch/   

Para desconfiar de notícias falsas sobre carros autônomos, veja minhas dicas aqui: https://aitrends.com/ai-insider/ai-fake-news-about-self-driving-cars/   

As implicações éticas dos sistemas de direção de IA são significativas, veja minha indicação aqui: https://aitrends.com/selfdrivingcars/ethically-ambiguous-self-driving-cars/   

Esteja ciente das armadilhas da normalização do desvio quando se trata de carros autônomos, aqui está o meu chamado às armas: https://aitrends.com/ai-insider/normalization-of-deviance-endangers-ai-self-driving-cars/ 

Carros autônomos e denunciantes   

Para os verdadeiros veículos autônomos de Nível 4 e Nível 5, não haverá um motorista humano envolvido na tarefa de dirigir. Todos os ocupantes serão passageiros; a IA está dirigindo.   

Um aspecto a discutir imediatamente envolve o fato de que a IA envolvida nos atuais sistemas de direção de IA não é senciente. Em outras palavras, a IA é totalmente um coletivo de programação e algoritmos baseados em computador e, com certeza, incapaz de raciocinar da mesma maneira que os humanos. 

Por que essa ênfase adicional sobre a IA não ser senciente? 

Porque quero enfatizar que, ao discutir o papel do sistema de direção da IA, não estou atribuindo qualidades humanas à IA. Esteja ciente de que existe uma tendência contínua e perigosa nos dias de hoje de antropomorfizar a IA. Em essência, as pessoas estão atribuindo uma sensibilidade semelhante à humana à IA de hoje, apesar do fato inegável e indiscutível de que tal IA ainda não existe.   

Com esse esclarecimento, você pode imaginar que o sistema de direção de IA não “saberá” nativamente sobre as facetas da direção. A direção e tudo o que isso acarreta precisarão ser programados como parte do hardware e do software do carro que dirige sozinho.   

Vamos mergulhar na miríade de aspectos que entram em jogo neste tópico.   

Você pode ficar chocado ao pensar que haveria qualquer tipo de denúncia de irregularidades relacionadas a carros autônomos. 

A maioria das pessoas tende a presumir que os esforços internos de desenvolver esses sistemas de direção de IA de última geração e montar um carro autônomo estão sendo feitos com as melhores e mais elevadas intenções. Alguns comparam o esforço para pousar na lua, uma aspiração bastante inspiradora.   

Certamente, tudo o que acontece nos bastidores no ato de fabricar carros autônomos é completamente honesto e ótimo. Ninguém tentaria produzir um carro autônomo que seja perigoso. Além disso, a esperança é que os carros autônomos criem uma era de mobilidade para todos, permitindo que aqueles que não têm acesso imediato ao trânsito automotivo hoje tenham acesso contínuo à mobilidade onipresente. E também existe a crença de que os carros autônomos reduzirão drasticamente o número de ferimentos e mortes devido a acidentes de carro conduzidos por humanos.   

Bem, não quero chocar você, mas o que está acontecendo na cozinha tem o potencial de servir uma refeição que pode prejudicar as pessoas. 

Alguns esforços de carros autônomos estão cortando atalhos, tentando atender às ordens urgentes da alta administração e não são capazes de realizar tantas verificações duplas e triplas quanto acreditam ser necessário. Da mesma forma, há aqueles na alta direção que desconhecem a falta de atenção aos detalhes e a omissão ou evasão de aspectos de qualidade de segurança durante as atividades de desenvolvimento de carros autônomos em seus grupos de desenvolvimento.   

Funciona nos dois sentidos.   

Lembre-se de que há uma espécie de corrida acontecendo. 

Quem alcançará primeiro os verdadeiros carros autônomos?   

Assim como chegar à lua, muita coisa depende do primeiro para fazer deste carro autônomo um “salto gigante” para a humanidade. Bilhões e bilhões de dólares estão sendo despejados nesses esforços alardeados. Quase não há receita ainda com os esforços dos carros autônomos. O dinheiro está entrando e há uma expectativa de que algo milagroso vai surgir.   

Sob esse tipo de pressão, você pode imaginar que alguns elementos podem receber pouca atenção em um esforço para avançar. As preocupações com os aspectos de segurança às vezes podem ser colocadas em segundo plano. Os recursos para o sistema de direção de IA que parecem essenciais podem ser colocados na lista existente de casos extremos ou extremos, o que significa que esses são recursos que se supõe que possam ser tratados posteriormente.   

Isso não sugere que algo dessa natureza seja de alguma forma desenfreado ou encontrado em todos os lugares. Isso seria completamente injusto para todos aqueles que se esforçam fortemente para produzir carros autônomos. Esses são os heróis que lutam fortemente, todos os dias, com o objetivo de trazer ao mundo carros autônomos e, assim, alcançar os ideais citados anteriormente.   

Além disso, como mencionei repetidamente em minhas colunas, nos últimos anos as montadoras e montadoras de carros autônomos adotaram uma postura muito mais forte em relação à segurança. Isso inclui a contratação de especialistas em segurança automotiva de alto nível e o lançamento de esforços internos significativos e significativos para aumentar a compreensão do que consiste a segurança. Além disso, muitas das empresas de carros autônomos agora têm programas internos de “denunciantes”, geralmente cunhados mais claramente como programas de relatórios de segurança, que visam fazer com que pessoas de dentro se manifestem quando virem algo que consideram inconveniente. 

A preocupação aparente é que há chances reais, em uma atmosfera entusiasta de alta pressão, de uma maçã podre aqui ou ali. Para deixar claro, não é necessariamente o caso de uma pessoa nefasta plantar algo nefasto em um sistema de direção de IA (embora isso possa acontecer). Quando os desenvolvedores de IA estão trabalhando a toda velocidade, há uma chance de perder algumas proteções importantes, não ter as ferramentas de desenvolvimento certas ou ficar sobrecarregados e com falta de pessoal.   

Resumindo, o resultado pode ser que um bug ou problema oculto tenha entrado no sistema de direção de IA. Não necessariamente intencionalmente. Só porque há verificações e balanços insuficientes e outras complicações envolvidas.   

Quando um carro autônomo tem um motorista humano reserva no veículo, acredita-se que isso seja suficiente para detectar qualquer ação desagradável que o sistema de direção de IA possa fazer. Nesse modo de pensar, é como ter um provador de comida sentado à sua mesa de jantar. A pessoa deve pegar qualquer coisa que possa desviar as coisas.   

Conforme mencionado em minhas colunas, nem todos acreditam que essa seja uma maneira adequada de detectar problemas e alguns denunciam que usar as vias públicas dessa maneira é totalmente impróprio. Se estivermos usando a analogia de um provador de comida, é como se o provador estivesse comendo a refeição ao mesmo tempo em que uma pessoa está jantando. Não é uma forma satisfatória de segurança para a pessoa que está comendo simultaneamente o que pode ser um alimento tóxico. Em essência, o motorista reserva pode não pegar um ato de direção impróprio a tempo e o veículo colide com um pedestre ou um carro dirigido por humanos.    

Além disso, quando você vê um carro autônomo dirigindo na rua, e fazendo isso sem um motorista reserva humano, como você pode saber que o sistema de direção de IA certamente será um motorista seguro?   

Você não   

A resposta usual é que, se o veículo autônomo está descendo uma rua da cidade e não atingiu ninguém, isso deve significar que o sistema de direção de IA está indo muito bem, muito obrigado. Na verdade, aqueles que continuam fazendo essas viagens em carros autônomos e fazendo aqueles testemunhos efusivos tendem a se enquadrar na mesma categoria. Eles acreditam que só porque o carro que dirige com segurança os levou ao supermercado, é como se isso fornecesse uma prova ampla e inquestionável de que o carro que dirige pode ir a qualquer lugar com segurança.   

Eles estão caindo em uma armadilha mental clássica. É um erro comum de orientação estatística. Eles presumem que sua instância particular contribui para generalizações estendidas.   

Pode ser que o sistema de direção AI se depare com uma situação como um pedestre que repentinamente se lança para a rua e o carro que dirige sozinho não pare a tempo (vamos supor que sim). A pessoa que fez a viagem ao supermercado não encontrou um pedestre intrometido e, portanto, não tem ideia do que o carro que dirige sozinho fará em tal ambiente. Fora da vista, longe da mente.   

Vamos voltar ao que a NHTSA diz sobre carros em geral e o escopo de possíveis denúncias que podem ser aplicáveis: “A NHTSA recebe informações de denunciantes sobre uma ampla variedade de tópicos, incluindo potenciais defeitos de segurança do veículo, não conformidade com os Padrões Federais de Segurança de Veículos Motorizados, e violações da Lei de Segurança Veicular. ”   

Tradicionalmente, esse tipo de escopo tende a se concentrar nas partes mecânicas de um carro.   

Hoje em dia, os carros tornaram-se essencialmente computadores sobre rodas. O software está cada vez mais se voltando para o escopo de tópicos que envolvem defeitos de segurança do veículo, não conformidade e violações do VSA.   

Em quais áreas dos sistemas de direção de IA podemos antecipar possíveis problemas? 

Primeiro, os sensores são usados ​​para coletar dados sobre a cena do trânsito. Os carros autônomos geralmente usam câmeras de vídeo, radar, LIDAR, unidades ultrassônicas, dispositivos de imagem térmica e semelhantes. Estes são os olhos e ouvidos do sistema de direção de IA. 

Suponha que uma pessoa interna saiba que os sensores escolhidos para o modelo de carro autônomo em que estão trabalhando têm questões de segurança que não estão sendo tratadas. Uma vez que o carro autônomo é colocado em campo, pode ser que, sob certas condições, um determinado sensor forneça dados defeituosos. A partir disso, o sistema de direção AI pode não ter sido programado para calcular corretamente o que fazer.   

Um resultado ruim pode acontecer enquanto estiver em nossas vias públicas.   

Outro caminho possível consiste na fusão dos dados em vários sensores. Conhecida como MSDF (fusão de dados multissensor), talvez a técnica de fusão usada seja baseada nas câmeras de vídeo sendo consideradas "certas", mesmo se a entrada do radar disser o contrário (a discrepância é simplesmente descartada em vez de levantar uma bandeira ou exigir alguma adição passos para tentar resolver). Como as questões de segurança estão sendo incorporadas a esta forma de programação?   

A lista continua e continua.   

Existe o modelo virtual que é mantido pelo sistema de condução AI e descreve internamente os arredores existentes e previstos. Certamente pode haver preocupações de segurança sobre como esse código está funcionando. Existe a parte do planejador de ação do sistema de direção de IA que tenta calcular quais próximas ações do veículo autônomo são mais prudentes. Mais uma vez, as preocupações de segurança podem residir lá. etc.   

Para mais detalhes sobre ODDs, veja minha indicação neste link aqui: https://www.aitrends.com/ai-insider/amalgamating-of-operational-design-domains-odds-for-ai-self-driving-cars/ 

Sobre o tema dos carros autônomos off-road, aqui estão os detalhes: https://www.aitrends.com/ai-insider/off-roading-as-a-challenging-use-case-for-ai-autonomous-cars/ 

Eu pedi que houvesse um diretor de segurança nas montadoras autônomas, aqui está a informação: https://www.aitrends.com/ai-insider/chief-safety-officers-needed-in-ai-the-case-of-ai-self-driving-cars/ 

Espere que os processos se tornem gradualmente uma parte significativa da indústria automobilística, veja meus detalhes explicativos aqui: https://aitrends.com/selfdrivingcars/self-driving-car-lawsuits-bonanza-ahead/ 

Conclusão 

Aqui está o resultado final.   

À medida que os carros autônomos começam a emergir cada vez mais dos laboratórios e dos esforços de P&D, eles serão usados ​​nas vias públicas. O número desses carros autônomos nas estradas começará a aumentar. O aumento do número desses veículos autônomos tenderá a aumentar um pouco as chances de que algo adverso surja. 

Em geral, eles ganham grandes manchetes nas notícias. 

O incidente com o carro que dirige sozinho que ganhou as manchetes teve um problema interno que poderia ser conhecido por uma fonte interna e, ainda assim, eles decidiram não contar o que sabiam ou suspeitavam seriamente?   

Eu apostaria que provavelmente veremos o surgimento de denunciantes sobre carros autônomos. 

Nem todas essas instâncias serão válidas. Alguns irão.   

É provável que o impacto disso faça com que algumas montadoras e fabricantes de carros autônomos revisem o que estão fazendo. Você certamente pode esperar que esses tipos de relatórios de denunciantes despertem ainda mais o interesse regulatório.   

Isso será uma surpresa para alguns e nenhuma surpresa para outros. Aqueles que já trabalharam em tais “cozinhas” antes e já sentem que alguns dos carros autônomos que estão chegando às estradas são uma refeição assustadora e inadequadamente cozida.   

Descobriremos assim que os apitos começarem a soprar. 

Direitos autorais 2021 Dr. Lance Eliot  

http://ai-selfdriving-cars.libsyn.com/website 

Fonte: https://www.aitrends.com/ai-insider/questionable-practices-at-some-ai-autonomous-car-makers-spurring-whistleblowers/