Uber: Un bug logiciel serait responsable de la mort du piéton, Réactions à la publication du 09/05/2018

[Lionel]

On commence à en savoir plus sur les circonstances qui ont conduit un véhicule Uber autonome à tuer une piétonne, Elaine Herzberg, en mars dernier.
L'accident est lié à un bug informatique, qui a provoqué une mauvaise évaluation des risques. En résumé, le logiciel de conduite autonome évalue tous les mouvements autour de lui et les classe en fonction du danger qu'ils représentent. Ce sont les développeurs et ingénieurs qui définissent le comportement en fonction de ces menaces et doivent ajuster le curseur au bon endroit pour éviter que le véhicule ne s'arrête, par exemple, dès que quelqu'un marche au bord du trottoir.
Dans le cas de l'accident, le logiciel a bien vu la personne mais l'a classée dans la catégorie faux positif, considérant qu'il n'y avait pas de danger.
On sait ce que cela a donné, et on entrevoit maintenant combien il sera difficile de créer des véhicules autonomes aussi infaillibles que possible sans qu'ils refusent de rouler.

Lien vers le billet original

[VSD]

Ouf !!! c'est rien, c'est un bug, indemnisons la victime...
On tue impunément... pas de justice ? pas de tribunaux ?
Ils peuvent tranquillement continuer à fabriquer des tueurs sur roues ? ? ?

[Macmmouth]

Oui, et à chaque modification logicielle et matérielle, on refait tous les tests de comportement routier, incluant tous les cas d'accident et autre faux positif.. bien sûr.

Et ça pour la moindre mise à jour, chacune d'entre elle risquant de provoquer des régression sur d'autres parties du logiciel.

On est dans un domaine où le nombre de cas à tester est infini.

Aucun développeur sérieux ne peux jurer que son travail est dépourvu de bug.
Il peut juste certifier que les tests prévu sont passés.

Tout logiciel a des bugs et dans le domaine de la conduite autonome où les tests ne peuvent pas être exhaustifs, il y en aura toujours.

Et il y aura des accidents. Toujours.

Ça va poser de gros problèmes en termes de responsabilités.
Quand les premier procès et condamnations auront lieu, je pense que les acteurs du secteur vont se désengager devant le risque qu'ils encourent personnellement.

[dan31]

Est-ce qu'un conducteur Lambda aurait évité la cycliste ? Pas sur. Dans ce cas pourquoi tirer sur un système si nous ne faisons pas mieux !

[yponomeute]

Est-ce qu'un conducteur Lambda aurait évité la cycliste ? Pas sur. Dans ce cas pourquoi tirer sur un système si nous ne faisons pas mieux !

En principe c'est le vendredi qu'on balance des trolls sur le forum.

[Pat94]

Un choix cornélien...

Ou rouler avec un "très petit risque" de bug informatique (voir les statistiques au Km parcourus)

Ou rouler avec un super pilote légèrement bourré (avec 3 grammes dans le sang),sans parler des gens inaptes à la conduite mais qui s'ignore.

Où est le risque le plus important ?

Mais bien sûr il est plus simple d'engraisser des avocats qui vont attaquer les sociétés qui assurent ces développements sur la conduite autonome.

[Xdave]

Allons, allons. Vous ne saisissez pas.
L'AI va se corriger d'elle-même puisqu'on vous dit que c'est mieux que l'humain!

Voyez, ça compose de la musique tout seul (musique à chier mais bon… c'est subjectif comme avis )...
ça écrit des mails à votre place
ça prend des rdv chez le merlan, et ça commande des pizzas tout seul, d'ailleurs bientôt ça choisira la bonne nourriture pour peu que vous ayez installé l'analyseur pipi/popo dans vos WC.
ça fait des tableaux de maître après leur mort…

Que demander de plus?

Un faux positif? Pas tout à fait, ce n'était qu'un humain à vélo , qui n'avait rien à faire là, donc autant lui foncer dessus.

Bientôt on pourra (se) reposer en paix, on ne servira plus à rien et, je crois que...

- Et... et.. mais... Dis Google ouvre la porte !
- Vous n'avez pas dit s'il vous plaît?
- Google Ouvre la porte!!
- Gogol toi-même
- heu... Ouvre la porte s'il te plaît!
- I'm afraid I can't do that, dave.

- Mais tu déconnes, t'es sérieux là? Ouvre la putain de port... aaaaarghhhl !!

beeep... beeep.. beeep...

Est-ce qu'un conducteur Lambda aurait tenté d'éviter la cycliste ? Pas sur. Dans ce cas pourquoi tirer sur un système si nous ne faisons pas mieux !

Here, I fixed it for you

[Hebus]

J’imagine que l’un des miens se fasse tuer par un robot roulant...

Je crois qu’il y a une différence de fond... c’est un peu comme un accident au travail à cause de la recherche de toujours plus de profit.

Ces robots roulants c’est de la folie...avec l’imbécilité Artificielle aux commandes...

[yponomeute]

Un choix cornélien...

Ou rouler avec un "très petit risque" de bug informatique (voir les statistiques au Km parcourus)

Ou rouler avec un super pilote légèrement bourré (avec 3 grammes dans le sang),sans parler des gens inaptes à la conduite mais qui s'ignore.

Où est le risque le plus important ?

Le risque le plus important c'est avec la voiture autonome.
Pour un conducteur humain le risque est individuel, si un conducteur est alcoolisé, le conducteur dans la voiture à côté de lui ne l'est pas. S'il y a un bug dans un logiciel il est présent sur toutes les voitures qui ont la même version du logiciel.

Alors maintenant tu préfères traverser au passage piéton en sachant que sur 10 000 voitures il y a un conducteur bourré, ou en sachant que 10 000 voitures sont munies d'un logiciel avec un bug ?

[Macmmouth]

Est-ce qu'un conducteur Lambda aurait évité la cycliste ? Pas sur. Dans ce cas pourquoi tirer sur un système si nous ne faisons pas mieux !

Bien sûr que la conduite autonome peut faire baisser le nombre d'accident par rapport aux voitures traditionnelles.
Mais on peut dire ça de beaucoup de mode de transport par rapport à la voiture, autonome ou pas.
Si le seul objectif est la sécurité, les transports en commun sont bien plus efficaces.

Et le problème de fond pour lequel il n'y a aucune réponse, c'est la responsabilité.

Ce message a été modifié par Macmmouth - 9 May 2018, 08:04.

[yponomeute]

L'accident est lié à un bug informatique qui a provoqué une mauvaise évaluation des risques.

Si on se projette dans l'avenir, avec des voitures autonomes partout et qu'un tel accident se produit à cause d'un bug. Que fait-on vis à vis de tout le parc automobile affecté par ce bug ? On les empêche de rouler ou bien on les laisse sur la route en croisant les doigts pour qu'aucun autre accident ne se produise en attendant que le bug soit corrigé ?
Peut-on bloquer un million de voitures par exemple pour éventuellement sauver des vies humaines ?

[bwaje]

Est-ce qu'un conducteur Lambda aurait évité la cycliste ? Pas sur. Dans ce cas pourquoi tirer sur un système si nous ne faisons pas mieux !

Bien sûr que la conduite autonome peut faire baisser le nombre d'accident par rapport aux voitures traditionnelles.
Mais on peut dire ça de beaucoup de mode de transport par rapport à la voiture, autonome ou pas.
Si le seul objectif est la sécurité, les transports en commun sont bien plus efficaces.

Et le problème de fond pour lequel il n'y a aucune réponse, c'est la responsabilité.

Pour moi le problème de fond, c'est le temps : Quand pourra-t-on avoir la certitude que la conduite autonome est plus fiable que la conduite manuelle ?
Car avec une anomalie du type de celle dont on parle, c'est chaque voiture autonome ayant la même version du logiciel qui aurait à coup sur elle aussi tué un piéton.
Et vu le nombre de tests de non régression à faire, il y va y avoir éventuellement des interdictions de rouler temporaires pour ces véhicules ?

Pour exemple, on voit aujourd'hui à Paris et banlieue l'impact d'une panne quasi générale d'un système de transport : Le vélib : Plus de stations qui fonctionnent, des cohortes de vélos bloqués et donc inutilisables.

[labon]

Comment peut-on ne serait-ce qu'imaginer qu'un être imparfait (l'être humain) puisse créé quelque chose de parfait (un logiciel, une machine, etc) ?
Cela défie toute logique et tout bon sens.
Mais c'est justement bien la preuve de notre imperfection 😁

Ce message a été modifié par labon - 9 May 2018, 08:23.

[Macmmouth]

L'accident est lié à un bug informatique qui a provoqué une mauvaise évaluation des risques.

Si on se projette dans l'avenir, avec des voitures autonomes partout et qu'un tel accident se produit à cause d'un bug. Que fait-on vis à vis de tout le parc automobile affecté par ce bug ? On les empêche de rouler ou bien on les laisse sur la route en croisant les doigts pour qu'aucun autre accident ne se produise en attendant que le bug soit corrigé ?
Peut-on bloquer un million de voitures par exemple pour éventuellement sauver des vies humaines ?

Et les voitures autonomes qui auront de nombreuses années ?
Quid des pannes ? C'est testé et prévisible un capteur qui devient moins précis ?
Et les voitures, elles seront entretenues et réparées comment ?
Avec des pièces en provenance de casses, d'un obscur fabricant ?
Allez, je te mets un vieux radar d'un autre marque et j'applique le mod logiciel de kevin2012.. j'ai vu que ça marche sur un forum.

La réalité, c'est que la voiture autonome, je pense que c'est autre chose qu'une voiture individuelle.

Elle ne remplaceront pas les voitures traditionnelles.

Il faut un cadre très strict pour qu'elle soient exploitables.
Une flotte gérée globalement, des infrastrutures routières adaptées, un système de maintenance, de réparation spécifique..

Bref ça n'aura pas grand chose à voir avec l'industrie automobile actuelle, mais plus avec un systéme de transport en commun.

C'est pour ça que je pense que l'approche actuelle des constructeurs automobile qui font chacun leur R&D dans leur coin est une fausse route qui n'amera nulle part.

Comment peut-on ne serait-ce qu'imaginer qu'un être imparfait (l'être humain) puisse créé quelque chose de parfait (un logiciel, une machine, etc) ?
Cela défie toute logique et tout bon sens.
Mais c'est justement bien la preuve de notre imperfection 😁

On peut l'imaginer si on croit aux progrès de l'intelligence artificielle ou plutôt du machine learning.

Mais c'est vrai que pour l'instant ce n'est qu'une croyance.

Ce message a été modifié par Macmmouth - 9 May 2018, 08:50.

[Twisell]

Techniquement ce n’est pas un comportement imprévu du programme, donc pas un bug.

C’est une "erreur de jugement" du modèle. La spécificité du machine learning étant précisément que personne ne programme le modèle, il se programme tout seul à partir de données d'entraînement qu’on lui fournis.

Pour le coup c’est donc bien le cas de figure qui devait tragiquement finir par arriver et qui pose la question :
Qui est responsable quand l’algorithme commet une erreur de jugement ?

Nous n’aurons cependant pas de réponse judiciaire dans ce cas puisque la famille de la victime va, si j’ai bien compris, accepter un règlement à l’amiable avec Uber et va toucher de l’argent à titre de dédommagement.

Ce message a été modifié par Twisell - 9 May 2018, 08:40.

[Macmmouth]

Techniquement ce n’est pas un comportement imprévu du programme, donc pas un bug.

Tu penses vraiment que dans le cahier des charges d'Uber, il n'y a aucune mention concernant le fait d'éviter d'écraser les piétons ?


Je retiens l'excuse, mais ça m'étonnerait que ça passe auprès d'un client..

Mais non msieur, c'est pas un bug, c'est juste qu'on a pas pensé à tester ça...

[Pat94]

Un choix cornélien...

Ou rouler avec un "très petit risque" de bug informatique (voir les statistiques au Km parcourus)

Ou rouler avec un super pilote légèrement bourré (avec 3 grammes dans le sang),sans parler des gens inaptes à la conduite mais qui s'ignore.

Où est le risque le plus important ?

Le risque le plus important c'est avec la voiture autonome.
Pour un conducteur humain le risque est individuel, si un conducteur est alcoolisé, le conducteur dans la voiture à côté de lui ne l'est pas. S'il y a un bug dans un logiciel il est présent sur toutes les voitures qui ont la même version du logiciel.

Alors maintenant tu préfères traverser au passage piéton en sachant que sur 10 000 voitures il y a un conducteur bourré, ou en sachant que 10 000 voitures sont munies d'un logiciel avec un bug ?

À te lire, je te déconseille alors de prendre l'avion de nos jours, leur avionique est maintenant gérée que par des logiciels, et si cela plante les pilotes n'auront le droit que de regarder leur "bouzin tomber ", les commandes électriques (au joystick) ne sont pas doublées par d'autres systèmes....

[yponomeute]

Un choix cornélien...

Ou rouler avec un "très petit risque" de bug informatique (voir les statistiques au Km parcourus)

Ou rouler avec un super pilote légèrement bourré (avec 3 grammes dans le sang),sans parler des gens inaptes à la conduite mais qui s'ignore.

Où est le risque le plus important ?

Le risque le plus important c'est avec la voiture autonome.
Pour un conducteur humain le risque est individuel, si un conducteur est alcoolisé, le conducteur dans la voiture à côté de lui ne l'est pas. S'il y a un bug dans un logiciel il est présent sur toutes les voitures qui ont la même version du logiciel.

Alors maintenant tu préfères traverser au passage piéton en sachant que sur 10 000 voitures il y a un conducteur bourré, ou en sachant que 10 000 voitures sont munies d'un logiciel avec un bug ?

À te lire, je te déconseille alors de prendre l'avion de nos jours, leur avionique est maintenant gérée que par des logiciels, et si cela plante les pilotes n'auront le droit que de regarder leur "bouzin tomber ", les commandes électriques (au joystick) ne sont pas doublées par d'autres systèmes....

Tu poses la question "Où est le risque le plus important ?", je te donne une réponse, et tu me dis de ne pas prendre l'avion. Il n'y a visiblement pas que les voitures de Uber qui ont des bugs

[maclinuxG4]

point important, pour moi c'est un erreur de conception !!!! :
-faux positif et ce n'est pas normal,

si tu détecte quelque chose, dont tu pourrais avoir un doute tu ralentie :
- classé comme faux positif n'est pas normal

[martremblay]

Le risque zéro n'existe pas et ceux qui cherchent absolument un responsable à punir ne comprennent rien à la vie.

Qui est le responsable de cet accident ?
- Le développeur, qui a écrit le bogue ?
- Le testeur, qui n'a pas mis en évidence le problème ?
- Le chef des deux précédents, qui ne leur a pas laissé plus de temps ?
- Le responsable de la tolérance de l'évaluation des risques ?
- Le législateur, qui autorise la circulation de ces véhicules ?
- La cycliste, qui a peut-être eu un comportement imprévisible ?
Il ne faut pas oublier Mr. Smith, qui devait aller à la pêche et qui a changé d'avis au dernier moment. S'il l'avait fait, il aurait gêné la victime 3 carrefours avant, ce qui lui aurait évité d'être au mauvais endroit au mauvais moment, et donc de mourir.
Il ne faut pas oublier Mme Carrey, qui a eu la fainéantise de réorganiser la vitrine du magasin de vêtement situé sur le parcours de la victime. Si elle l'était fait, la victime se serait arrêtée 20 secondes pour convoiter cette si jolie tenue.
Etc… etc…

La solution serait celle-ci : Plus de véhicules automobiles sur route, autonomes ou non, mais un système de wagonnets sur rails. Soit on utilise l'un des wagonnets en libre service garés un peu partout, soit on commande un véhicule par internet et celui-ci nous attend à heure dite dans un lieu déterminé.
Des bordures et des barrières empêchent l'andouille de base de traverser n'importe où et le wagonnet nous conduit automatiquement en en toute sécurité à l'endroit où nous voulons aller. Ce serait la fin des véhicules à diesel/essence et des véhicules personnels. Le confort et le nombre de places par wagonnet serait variable et fonction de la distance, des bagages, du nombre de personnes. En plus, il serait possible de dormir dedans, de jouer ou de regarder une vidéo ! Quoi de mieux ?

Un défaut, remplacer les routes par des rails ? Commençons par les villes, on a bien installé le tout-à-l'égout, installer des rails, c'est faisable.
Un défaut, l'état va y perdre : Plus d'infractions, moins de gendarmes, d'avocats, de juges… Plus de sur-taxation de la vache à lait automobile. Donc moins de revenus !
Un défaut, les assureurs vont y perdre : Plus d'assurance véhicule… Donc moins de revenus !
Un défaut, les auto-écoles vont disparaitre…
Mais des défauts comme ça ressemblent furieusement à des qualités !

Je parie sur un système de ce genre dans l'avenir, mais ni nous, ni nos enfants, ne le verront. Le temps que les élus comprennent… Car un élu est très compétent. Si, pour se faire élire. Un fois fait, il n'est plus dans son job et devient mauvais : luttes politicardes, amour-propre, intérêt personnel, incompréhension, ignorance, etc… Bref, il sera remplacé la prochaine fois par un autre politicard du même tonneau !

Ce message a été modifié par martremblay - 9 May 2018, 09:27.

[kikeo]

pff les réacs sont de sortie.... Bien sûr que c'est tragique cet accident, mais on parle de une personne tuée par une voiture autonome. Combien tuées tous les jours par des voitures avec des humains au volant ?
Il y a certes beaucoup de progrès à faire, et je serais aussi très en colère si un de mes proches était tué par une voiture autonome, mais il est évident que les voitures autonomes sont l'avenir de l'automobile, que vous le vouliez ou non.
Le machine learning, les mises à jour du code et des paramètres en temps réel, pour des flottes entières de véhicules, l'intéraction entre les véhicules, et entre les véhicules et piétons, via les devices connectées en 5G, etc. toutes ces technologies vont faire de la voiture autonome une alternative beaucoup plus sûre et incontournable à la voiture à conducteur humain. Je prédis que d'ici 2025 elles seront dans nos rues et on ne s'en étonnera plus.

[LordJohnWhorfin]

J'aime bien à quel point des gens qui n'ont pas la moindre information sur l'accident se permettent de faire des jugements péremptoires. La conduite automatique n'éliminera sans doute jamais les accidents, mais si elle permet de réduire le risque statistique de façon significative ce sera déjà un énorme progrès. Reste la question de la responsabilité, qui n'est pas simple. Est-ce la faute du piéton, du cycliste? Celle des concepteurs du logiciel? Ou celle du propriétaire de la voiture? Les tribunaux planchent déjà sur la question.

Ce message a été modifié par LordJohnWhorfin - 9 May 2018, 09:34.

[yponomeute]

pff les réacs sont de sortie.... Bien sûr que c'est tragique cet accident, mais on parle de une personne tuée par une voiture autonome. Combien tuées tous les jours par des voitures avec des humains au volant ?

1,2 millions de morts par an sur les routes, pour un parc automobile de 1,2 milliard de voitures, soit un ratio de 1 mort pour 1000 voitures.
Il doit y avoir 200 voitures autonomes en circulation, soit un ratio de 1 mort pour 200 voitures, cinq fois plus que pour les conducteurs humains.
Voilà une autre analyse faite sur un coin de table qui comme ton intervention n'a aucun intérêt, sauf de montrer qu'on peut affirmer tout et n'importe quoi.

[Padbol38]

Est-ce qu'un conducteur Lambda aurait évité la cycliste ? Pas sur. Dans ce cas pourquoi tirer sur un système si nous ne faisons pas mieux !

En principe c'est le vendredi qu'on balance des trolls sur le forum.

Non je suis d'accord. Entre avoir une conduite autonome aussi bonne/meilleure que l'homme et une conduite autonome parfaite capable d'anticiper et d'éviter tous les accidents (yc les gens qui traversent les voies rapides de nuit) il y a un gouffre.

J'ai vu les images, et je vois mal comment ça aurait pu être évité "manuellement", si ce n'est avec une vision nocturne/infrarouge. Et encore, demain le véhicule devra t'il piler devant une biche au risque de se faire cartonner par un autre véhicule derrière ? Doit on attendre que les systèmes embarqués soient capables de distinguer à 100% un homme d'un animal de nuit, d'une poussette ou d'une chaise roulante pour déployer les véhicules autonomes ?

Une statistique m'a marqué : un rapport de l'association des assureurs américains qui constatait une baisse de 40% des accidents suite à l'activation du mode autonome sur les modèles de Tesla concernées. C'est monumental. Je suis persuadé que si on veut réduire le nombre de mort sur la route, le prochain gros "levier" c'est l'autonomie/automatisation. Mais certes, ça ne rendra jamais le transport routier sûr à 100%, soyons pragmatiques.

[Sardequin]

Un conducteur humain aurait-il évité la cycliste ? On n’en sait absolument rien ! Mais le conducteur « lambda » aurait par réflexe plongé sur les freins et tenté d’éviter la cycliste ! Alors que dans le cas présent la voiture autonome et son programme n’ont même pas essayé !

[maclinuxG4]

Il y a certes beaucoup de progrès à faire, et je serais aussi très en colère si un de mes proches était tué par une voiture autonome, mais il est évident que les voitures autonomes sont l'avenir de l'automobile, que vous le vouliez ou non.

Le problème ne se situe pas sur c'est l'avenir MAIS COMMENT on s'assure du risque 0: c'est un système complexe critique.

la conception doit géré l'ensemble, mais aussi GARANTIR la sécurité des biens et personnes.
C'est rédhibitoire, dans le cas contraire, l'assurance se retourne contre le constructeur

Le constructeur est responsable de la conception, c'est lui qui définit une variante de la voiture autonome, (un produit par exemple)

Les processus vont se complexifier.

Par contre, ils existes différentes solution de voiture autonome (bardé de capteur, usage d'un repère par une ligne spécifique servant comme un rail, ..., trajet unique, etc...)

Dans tous les cas, le risque ne sera pas le même: c est pour cela que des expérimentations sont menés afin de mieux définir la faisabilité, et les produit en terme de maturité. Cela prendra du temps



Ce message a été modifié par maclinuxG4 - 9 May 2018, 14:13.

[ekami]

Vous en connaissez vous des systèmes parfaits dès leur sortie ?
Désolé mais dans le numérique, et à ce niveau te technologie, ça n'existe pas.
Cet accident démontre l'immense défi qui reste à relever sur les "faux positifs", car ça existe et leur probabilité augmentera encore dans le futur.
Il va donc permettre de fortement travailler sur une meilleure reconnaissance de ces cas extrêmement complexes à reconnaitre pour des machines.
Alors si à l'avenir le véhicule stoppe net (il n'a pas de temps de réaction de 1 sec comme nous…) à cause d'un réglage de "faux positif" un peu trop sensible, on risquera de se faire emboutir par l'arrière, surtout si le véhicule suivant est conduit par un humain. On va surement râler en disant que "ça n'est pas au point". Nous sommes d'éternels insatisfaits

[Papalou]

Les véhicules autonomes n'auront de sens que lorsque le réseau routier aura été adapté à ce nouvel usage de la route. C'est pas demain la veille (coût, temps de déploiement, etc…).

[FlyingNono]

Ça va poser de gros problèmes en termes de responsabilités.
Quand les premier procès et condamnations auront lieu, je pense que les acteurs du secteur vont se désengager devant le risque qu'ils encourent personnellement.

Désengager, je ne pense pas, mais les assurances vont mettre leur grain de sel pour clarifier les responsabilités et les risques associées.
Clairement, cela va pousser les "bricoleurs" vers la sortie et les coûts vont augmenter.

À te lire, je te déconseille alors de prendre l'avion de nos jours, leur avionique est maintenant gérée que par des logiciels, et si cela plante les pilotes n'auront le droit que de regarder leur "bouzin tomber ", les commandes électriques (au joystick) ne sont pas doublées par d'autres systèmes....

Au moins dans les avions, la redondance est vérifiée, la certification est faite par des intervenants extérieurs, la communication des incidents et correctifs est obligatoire, et les intervenants (et leur certifications référencées) sont tous tracés.
En cas de manquement, c'est le retrait des autorisations liées.
En prime, le pilote et le co-pilote surveillent la machine, sont formés pour reparamétrer, déconnecter, passer en manuel, et sont régulièrement contrôlés.
Ça a un coût, énorme ! mais c'est le prix de la sécurité.
Rien de tout ca n'existe dans le monde des voitures...
a+

Ce message a été modifié par FlyingNono - 9 May 2018, 10:34.

[g4hd]

Il existe un environnement qui permet de pratiquer la conduite autonome : c’est le train !
Des voies spécialement conçues pour un seul type de véhicules, la quasi impossibilité de mélanger les piétons et automobilistes avec les trains etc.
Et même comme ça, il arrive quelques accidents.
Enfin… quand ce système fonctionne !