IPB

Bienvenue invité ( Connexion | Inscription )

3 Pages V  < 1 2 3 >  
Reply to this topicStart new topic
> Uber: Un bug logiciel serait responsable de la mort du piéton, Réactions à la publication du 09/05/2018
Options
sansnom
posté 9 May 2018, 10:48
Message #31


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 146
Inscrit : 30 Jun 2005
Lieu : Loiret
Membre no 41 715



Citation (Lionel @ 9 May 2018, 07:21) *
“L'accident est lié à un bug informatique qui a provoqué une mauvaise évaluation des risques...”
“En résumé, le logiciel de conduite autonome évalue tous les mouvements autour de lui et les classe en fonction du danger qu'ils représentent.”
“Ce sont les développeurs et ingénieurs qui définissent le comportement en fonction de ces menaces...”
“Dans le cas de l'accident, le logiciel a bien vu la personne mais l'a classé dans la catégorie faux positif, considérant qu'il n'y avait pas de danger.”
Délicieux !...
Donc, dans l'esprit d'Uber, les individus (nous) côtoyant les routes sont appréciés en termes de risque représentant un danger ou une menace et sont classés en catégorie !...
C'est le monde à l'envers !...
De toutes façons, ces engins sont des risques pour les humains comme n'importe quelle véhicule roulant ou le rapport poids/puissance/vitesse/potentielle-connerie-de-son-conducteur sera toujours en leur défaveur.


--------------------
MacMini M1 (13.4.1c) 16Go • iPhone 11 Pro Max 64Go • iPadMini Wi-Fi 6ème Gén. 64Go • aTV 4K 32Go
Go to the top of the page
 
+Quote Post
Sgt.Pepper
posté 9 May 2018, 10:49
Message #32


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 3 606
Inscrit : 10 Feb 2011
Membre no 164 526



Citation (Papalou @ 9 May 2018, 11:26) *
Les véhicules autonomes n'auront de sens que lorsque le réseau routier aura été adapté à ce nouvel usage de la route. C'est pas demain la veille (coût, temps de déploiement, etc…).

Et les sujets de discussion ressembleront à : "Pour ou contre les rayons laser de barrage le long des voies, pour contraindre les piétons à traverser sur les passages ? " biggrin.gif
Go to the top of the page
 
+Quote Post
Twisell
posté 9 May 2018, 10:55
Message #33


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 148
Inscrit : 5 Jan 2004
Lieu : Argentoratum
Membre no 13 063



Citation (Macmmouth @ 9 May 2018, 09:45) *
Citation (Twisell @ 9 May 2018, 08:36) *
Techniquement ce n’est pas un comportement imprévu du programme, donc pas un bug.


laugh.gif

Tu penses vraiment que dans le cahier des charges d'Uber, il n'y a aucune mention concernant le fait d'éviter d'écraser les piétons ?


Je retiens l'excuse, mais ça m'étonnerait que ça passe auprès d'un client..

Mais non msieur, c'est pas un bug, c'est juste qu'on a pas pensé à tester ça...

laugh.gif

J'ai bien dis "Techniquement".

Le faux positif ce n'est pas un bug au sens informatique. Le système n'a détecté aucune erreur, il n'avait conscience d'aucune erreur, il a fait ce pour quoi il à été programmé (ou entrainé dans ce cas).
Donc pour moi parler de bug c'est une manière habile de minimiser les responsabilités auprès du grand public.

Parce que si Uber se dégage de toute responsabilité pour cette mauvaise programmation, ça veut dire que le fautif est le conducteur.
Et c'est tout l'enjeu des procès à venir, le conducteur peut-il être tenu responsable d'un accident causé par une erreur de programmation du constructeur?

edit: orthograve confused5.gif

Ce message a été modifié par Twisell - 9 May 2018, 12:57.


--------------------
Télecharger une archive personelle contenant tous les fils de discussions auxquels le membre a participé? (... ou pas malgré la RGPD)[/size]
Membre du club des AIPBP (Anciens Inscrits Pas Beaucoup de Posts) Voir la règle d'éligibilité[/size]
Go to the top of the page
 
+Quote Post
iAPX
posté 9 May 2018, 11:43
Message #34


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 15 384
Inscrit : 4 Jan 2006
Lieu : dtq
Membre no 52 877



Citation (Hebus @ 9 May 2018, 02:41) *
J’imagine que l’un des miens se fasse tuer par un robot roulant...

Je crois qu’il y a une différence de fond... c’est un peu comme un accident au travail à cause de la recherche de toujours plus de profit.

Ces robots roulants c’est de la folie...avec l’imbécilité Artificielle aux commandes...

+1 je ne saurais dire mieux, en l'état de l'art c'est de la pure folie.

Les Tesla ne s'arrêtent pas car elles sont bigleuses et continuent quand elles ne perçoivent pas correctement leur environnement, pourtant évident.
Les Uber ne s'arrêtent pas, elles perçoivent beaucoup plus voir trop et n'arrivent pas à analyser correctement leur environnement, pourtant évident.

Dans les deux cas, outre une IA dont on ne peut pas comprendre le comportement mais qui est validé face à des situations-type (le principe du Deep Learning), il y a eu des décisions humaines et ça a été de se débarrasser du problème pour éviter que leurs voitures pilent de manière inattendue (un problème qu'a GM car il semblent considérer la sécurité d'abord).
Avec les conséquences que l'on connait: les Tesla avec "AutoPilot" étant au-dessus des statistiques de mortalité de leur catégorie de véhicule (Luxe + récent), catégorie qui est 11X moins accidentogène que les petits véhicules économiques. Certains assureurs prennent acte et ont augmenté leurs primes.

Ce message a été modifié par iAPX - 9 May 2018, 12:24.


--------------------
Utilisateur de Mac depuis 1985 et possesseur de Mac depuis 2005. Utilisateur d'un PC Lenovo au travail, sous Windows, qui renforce ma passion pour les Mac!
Go to the top of the page
 
+Quote Post
divoli
posté 9 May 2018, 12:06
Message #35


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 11 044
Inscrit : 15 May 2005
Membre no 39 209



Citation (kikeo @ 9 May 2018, 10:28) *
pff les réacs sont de sortie.... Bien sûr que c'est tragique cet accident, mais on parle de une personne tuée par une voiture autonome. Combien tuées tous les jours par des voitures avec des humains au volant ?
Il y a certes beaucoup de progrès à faire, et je serais aussi très en colère si un de mes proches était tué par une voiture autonome, mais il est évident que les voitures autonomes sont l'avenir de l'automobile, que vous le vouliez ou non.
Le machine learning, les mises à jour du code et des paramètres en temps réel, pour des flottes entières de véhicules, l'intéraction entre les véhicules, et entre les véhicules et piétons, via les devices connectées en 5G, etc. toutes ces technologies vont faire de la voiture autonome une alternative beaucoup plus sûre et incontournable à la voiture à conducteur humain. Je prédis que d'ici 2025 elles seront dans nos rues et on ne s'en étonnera plus.

T'as raison, Jean-Louis, chez Uber c'est comme à l'Armée, ils ont droit à 3 % de perte. Et puis qu'est-ce que l'on en a à foutre, du moment que l'on n'en fait pas partie...

Ce message a été modifié par divoli - 9 May 2018, 12:06.


--------------------
Go to the top of the page
 
+Quote Post
iAPX
posté 9 May 2018, 12:38
Message #36


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 15 384
Inscrit : 4 Jan 2006
Lieu : dtq
Membre no 52 877



Voilà comment était éclairée la scène où la voiture Uber a foncé sur une personne sans ralentir un instant (et en léger excès de vitesse).


Voilà aussi ce à quoi je m'attendais avec la vidéo vraiment très bizarre fournie par les force de Police avec comme origine Uber , qui aurait employé une Dashcam russe des années 80 à 1$ dans une voiture à facilement 200 000$ tout compris: la vidéo a été altérée.


Il y a plusieurs problèmes derrière tout ça, car c'est criminel d'avoir laissé une voiture rouler quand elle ne perçoit pas correctement son environnement ou est incapable de l'analyser, mais c'est aussi criminel d'altérer des preuves.

Ce message a été modifié par iAPX - 9 May 2018, 12:41.


--------------------
Utilisateur de Mac depuis 1985 et possesseur de Mac depuis 2005. Utilisateur d'un PC Lenovo au travail, sous Windows, qui renforce ma passion pour les Mac!
Go to the top of the page
 
+Quote Post
Sgt.Pepper
posté 9 May 2018, 12:44
Message #37


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 3 606
Inscrit : 10 Feb 2011
Membre no 164 526



Je vous lis et je reçois les arguments des uns et des autres. Toutefois, ce type d'échange a lieu dans toutes les étapes "charnières" des technologies. L'aviation a vécu un moment de ce genre lorsqu’on a pu prétendre au vol sans visibilité. Ce ne fut pas sans faire flipper tout le monde. C'est pourtant ce qui a permis l'aviation commerciale "tous temps" et la révolution qui va avec. Mais, au moins, le ciel était "libre".

Je crois, comme cela a été souligné, que ces concepts ne trouveront leur pleine (et rassurante) expression que dans un cadre routier totalement revu en termes technologiques. C'est plutôt ça qui pose problème. Car on semble s'acheminer vers une période de transition où on va nous imposer la cohabitation de plusieurs systèmes de conduite et de principes de locomotion qui risquent d'être fort contradictoires (pour ne pas dire antinomiques).
Go to the top of the page
 
+Quote Post
(The)Space
posté 9 May 2018, 12:50
Message #38


Macbidouilleur d'argent !
***

Groupe : Membres
Messages : 771
Inscrit : 27 Oct 2009
Membre no 144 466



C'est un bug ou une mauvaise programmation ?
Ce n'est pas du tout la même chose !!


--------------------
L'homme en noir fuyait à travers le désert, et le Pistolero le suivait.
Go to the top of the page
 
+Quote Post
Cekter
posté 9 May 2018, 12:56
Message #39


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 060
Inscrit : 8 Feb 2005
Membre no 32 632



Citation (iAPX @ 9 May 2018, 12:43) *
Citation (Hebus @ 9 May 2018, 02:41) *
J’imagine que l’un des miens se fasse tuer par un robot roulant...

Je crois qu’il y a une différence de fond... c’est un peu comme un accident au travail à cause de la recherche de toujours plus de profit.

Ces robots roulants c’est de la folie...avec l’imbécilité Artificielle aux commandes...

+1 je ne saurais dire mieux, en l'état de l'art c'est de la pure folie.



+1 !

Et ce n'est pas être "réac" comme certains commentateurs ici semblent le croire. Et ce n'est pas non plus une question de statitistique (1 mort pour tant de véhicules, etc) mais une question de responsabilité.

Car dans le cas d'un conducteur impliqué dans un accident (quelqu'il soit) on cherche à établir la responsabilité de chacun. Et on punit le responsable. Donc quand on prend le volant nous sommes potentiellement responsable de ce qui arrive.

Après on peut l'oublier, s'en foutre, croire qu'on est plus fort que la loi... Mais ce n'est pas ce qui nous préoccupe ici car on quitte alors le domaine de la loi et on entre dans celui de la psychologie humaine.

Mais le fait est qu'on est responsable de ses actes devant la loi et qu'on a donc à répondre de nos actes.

Dans le cas d'une voiture autonome qui "bug" qui est responsable ? Les programmeurs ? ben non ils ne voulaient pas que ça bug. Le constructeur ? Ben non plus. Le conducteur ? Ben non il n'y en a pas... etc... Chacun va donc se refiler la patate chaude et au final on concluera fort justement que le "bug" vient de la machine. Ok super et du coup on fait quoi ? On fout la bagnole en taule ? On lui colle une amende ? On l'interdit de circuler ? Et puis ?

Le principe de la loi (pour qu'elle fonctionne) est qu'elle doit s'appliquer d'une part au coupable qui paye une "dette" à la société (évidement) mais qu'elle doit avoir également une valeur éducative. Et cette valeur éducative doit être présente pour le prévenu mais également pour le corps social, c'est à dire dans notre cas pour tous les autres conducteurs. Je ne dis pas que ça fonctionne à 100% mais c'est le principe.

Là ce sera éducatif pour qui ? Pour une autre voiture autonome qui se dire "oh punaiz, faut pas que je bug, je risque la prison" ? J'en doute...




--------------------
Entre la vérole Apple et la vérole Microsoft je ne savais que choisir, dans le doute j'ai pris les deux...
Go to the top of the page
 
+Quote Post
Padbol38
posté 9 May 2018, 12:57
Message #40


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 959
Inscrit : 26 Nov 2006
Lieu : Paris
Membre no 73 922



Citation (Sardequin @ 9 May 2018, 10:06) *
Un conducteur humain aurait-il évité la cycliste ? On n’en sait absolument rien ! Mais le conducteur « lambda » aurait par réflexe plongé sur les freins et tenté d’éviter la cycliste ! Alors que dans le cas présent la voiture autonome et son programme n’ont même pas essayé !


Il y avait un conducteur dans la voiture, et qui regardait la route. Et qui n'a pas pilé. Et quand bien même il suffit d'une seconde d'inattention...
Après là où je suis d'accord avec toi, c'est que le système avait détecté la cycliste. Il aurait pu l'éviter, mieux qu'un Homme. Mais il y aura d'autres blessés/morts afin que les systèmes apprennent. La courbe d'apprentissage est valable pour tout le monde ! Et ça n'empêche pas les usagers "humains" de la route d'être prudents. Dans pas si longtemps des voitures/camions (taxis, transports de personnes, de marchandises) rouleront en totale autonomie


--------------------
  • Macuser depuis 1988 ! LC, LCII, Powerbook Duo & Dock, Performa 5400/180, Power Mac G3 350, Imac DV, ibook G3 800, Mac mini G4, Macbook blanc C2D 2ghz, mac mini C2D, Macbook 'Unibody' 2,4Ghz, Mac mini sandy bridge, MacBook retina 13', MBA M1 8/8
  • ipod 30Go, nano 1, nano 2, Touch, shuffle
  • iPad 2 (après une looooongue queue à l'Apple Store de Soho, je ne le ferai plus jamais !), ipad air, ipad mini 4 (je l'adore!)
  • iPhone 3GS, 55, 6S, XR (Red) aujourd'hui. Mais aussi Galaxy, HTC One X, One pour tester android... mais non, l'iphone a ma préférence ;)
Go to the top of the page
 
+Quote Post
lolo-69
posté 9 May 2018, 13:02
Message #41


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 1 039
Inscrit : 18 Jan 2014
Lieu : Région Lyonnaise
Membre no 188 917



Tiens, un bug logiciel...
Comme c’est étonnant🙄🙄🙄


--------------------
Un Mac...
Pas pour avoir la plus grosse, pas pour faire joujou, mais pour bosser en paix!
(Ça, c'était avant l'avènement du Mac jetable)

Désormais, un laptop Windows, cause foutage de gueule Apple côté hardware!
Quid de la machine de bureau?
Fuck NSA
Go to the top of the page
 
+Quote Post
bwaje
posté 9 May 2018, 13:16
Message #42


Macbidouilleur de vermeil !
****

Groupe : Membres
Messages : 922
Inscrit : 27 May 2003
Lieu : Paname city
Membre no 7 800



Citation (Pat94 @ 9 May 2018, 08:59) *
Citation (yponomeute @ 9 May 2018, 08:42) *
Citation (Pat94 @ 9 May 2018, 08:33) *
Un choix cornélien... huh.gif

Ou rouler avec un "très petit risque" de bug informatique (voir les statistiques au Km parcourus)

Ou rouler avec un super pilote légèrement bourré (avec 3 grammes dans le sang),sans parler des gens inaptes à la conduite mais qui s'ignore. w00t.gif

Où est le risque le plus important ?

Le risque le plus important c'est avec la voiture autonome.
Pour un conducteur humain le risque est individuel, si un conducteur est alcoolisé, le conducteur dans la voiture à côté de lui ne l'est pas. S'il y a un bug dans un logiciel il est présent sur toutes les voitures qui ont la même version du logiciel.

Alors maintenant tu préfères traverser au passage piéton en sachant que sur 10 000 voitures il y a un conducteur bourré, ou en sachant que 10 000 voitures sont munies d'un logiciel avec un bug ?


À te lire, je te déconseille alors de prendre l'avion de nos jours, leur avionique est maintenant gérée que par des logiciels, et si cela plante les pilotes n'auront le droit que de regarder leur "bouzin tomber w00t.gif ", les commandes électriques (au joystick) ne sont pas doublées par d'autres systèmes....


Ce qui n'est pas plus mal vu l'état de certains pilotes d'avions

Citation (LordJohnWhorfin @ 9 May 2018, 09:31) *
J'aime bien à quel point des gens qui n'ont pas la moindre information sur l'accident se permettent de faire des jugements péremptoires. La conduite automatique n'éliminera sans doute jamais les accidents, mais si elle permet de réduire le risque statistique de façon significative ce sera déjà un énorme progrès. Reste la question de la responsabilité, qui n'est pas simple. Est-ce la faute du piéton, du cycliste? Celle des concepteurs du logiciel? Ou celle du propriétaire de la voiture? Les tribunaux planchent déjà sur la question.


Certes, mais si tu remplace l'ensemble du parc auto actuel par des véhicules autonomes déficients, ce n'est plus 1 mort que tu obtiens, mais 1 par véhicule tant que l'anomalie n'est pas corrigée.


--------------------
"Don't believe everything that you read in the press..." Newtown Neurotics - Kick out the Tories (1981)
Go to the top of the page
 
+Quote Post
mobydivingdick
posté 9 May 2018, 13:24
Message #43


Macbidouilleur de bronze !
**

Groupe : Membres
Messages : 487
Inscrit : 25 Mar 2007
Lieu : Paris
Membre no 83 446



Tous ceux qui bossent dans l'informatique au niveau production ( cad maitrise du code dans un process ) savent bien que le zéro défaut n'existe pas dès que l'on dépasse un certain niveau de complexité au niveau des variables aléatoires.

Les véhicules autonomes c'est déjà le cas : même à 0,000001 % de taux d'erreur cela fera toujours des morts à l'arrivée vu le nombre de véhicules potentiellement en circulation , sans même parler des règles de choix dans des situations complexes ( genre : j'ai 3 passagers dans ma voiture, deux piétons qui traversent, je sais que je n'ai pas le temps ni l'espace nécessaire pour m'arrêter donc je tue qui ... les piétons ou mes passagers ? )

C'est aussi la raison pour laquelle amha il n'y aura pas d'avions de lignes sans pilotes : avec le même taux de panne ridicule, cela fera quand même des avions au tapis avec les dizaines voir centaines de morts d'un coup que cela entraîne.



--------------------
Mac Pro 2013 : fini , remplacé par Intel NUC 8i7HNK / 32G Crucial / 2 x 512G SSD 960 EVO PRO + Windows 10
iPhone 7 Plus : fini, remplacé par un OnePlus 6T
MBP 2015 : fini, remplacé par MS Surface Pro

Sortie du monde Apple terminée
Go to the top of the page
 
+Quote Post
freewheelin fran...
posté 9 May 2018, 13:27
Message #44


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 096
Inscrit : 15 Dec 2003
Lieu : Nulle part
Membre no 12 539



Ce débat sur les avantages et inconvénients respectifs de la conduite traditionnelle vs la conduite autonome me semble prématuré. Nous n'en sommes qu'au début de la mise au point de tels systèmes.

Une chose est certaine: aucun système ne peut prévoir tous les cas de figure. D'ailleurs comment fonctionnons-nous au volant ? Il y a bien sûr l'apprentissage des règles de base de la conduite, étayé par l'expérience et la capacité de jugement du conducteur. Mais, quelle que soit l'expérience et l'habileté du conducteur, ses prises de décisions notamment en cas d'urgence obéissent à une forme de logique floue, quasi instinctive, pas toujours efficace, parfois si, et bien plus que les systèmes les plus évolués. Mais la pratique doit être régulière sinon les réflexes s'estompent.
C'est la raison pour laquelle les activités de pilotage qui demandent une grande qualité des réflexes (course automobile, aviation commerciale ou militaire) nécessitent un entraînement régulier. Moins d'entraînement, moins de bons réflexes.

A mes heures perdues, je vais de temps en temps regarder les vidéos d'accidents faites par les dashcams russes ou autres, mais principalement russes. La plupart des accidents sont causés par le non respect élémentaire du code de la route ou par de l'incivilité. Et puis, il y a les impondérables; l'élan qui déboule de la forêt et traverse la route devant vous, le poids lourd qui éclate un pneu et se met en travers face à vous et que vous n'allez pas éviter parce que vous avez les yeux rivés sur le danger et que vous ne percevez pas l'échappatoire possible, etc.

La plupart de nos contemporains n'ont pas d'appétence particulière pour la conduite ce qui limite assez fortement leur capacité d'entraînement. Et même pour les passionnés de conduite (s'il en reste.... rolleyes.gif ) le maintien d'un haut niveau de compétences de va pas de soi.
Tous ces dangers potentiels, la conduite autonome devrait un jour être en mesure de les éviter ou d'en atténuer les conséquences. Mais le risque zéro n'existera jamais, à moins de séparer totalement les flux de circulation, et encore.
Go to the top of the page
 
+Quote Post
marc_os
posté 9 May 2018, 13:30
Message #45


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 6 484
Inscrit : 21 Apr 2006
Membre no 59 799



Citation (sansnom @ 9 May 2018, 11:48) *
Citation (Lionel @ 9 May 2018, 07:21) *
“L'accident est lié à un bug informatique qui a provoqué une mauvaise évaluation des risques...”
“En résumé, le logiciel de conduite autonome évalue tous les mouvements autour de lui et les classe en fonction du danger qu'ils représentent.”
“Ce sont les développeurs et ingénieurs qui définissent le comportement en fonction de ces menaces...”
“Dans le cas de l'accident, le logiciel a bien vu la personne mais l'a classé dans la catégorie faux positif, considérant qu'il n'y avait pas de danger.”
Délicieux !...
Donc, dans l'esprit d'Uber, les individus (nous) côtoyant les routes sont appréciés en termes de risque représentant un danger ou une menace et sont classés en catégorie !...
C'est le monde à l'envers !...
De toutes façons, ces engins sont des risques pour les humains comme n'importe quelle véhicule roulant ou le rapport poids/puissance/vitesse/potentielle-connerie-de-son-conducteur sera toujours en leur défaveur.


Je me suis fait exactement la même réflexion : AMHA si c'est comme ça que son réellement vues les choses par Uber (attention à la traduction/interprétation des sources dans l'article), il y a erreur de paradigme : C'est le véhicule (et son pilote logiciel ou humain) qui représente un danger pour son environnement, piétons, cyclistes, bref pour tous "les usagers de la route" comme on dit au permis.

Citation ((The)Space @ 9 May 2018, 13:50) *
C'est un bug ou une mauvaise programmation ?
Ce n'est pas du tout la même chose !!

L'article de arstechnica est très révélateur :
Citation
"There's a reason Uber would tune its system to be less cautious about objects around the car," Efrati wrote. "It is trying to develop a self-driving car that is comfortable to ride in."

"Uber had been racing to meet an end-of-year internal goal of allowing customers in the Phoenix area to ride in Uber’s autonomous Volvo vehicles with no safety driver sitting behind the wheel," Efrati added.

On peut dire que c'est un sacré bogue de conception :
Le choix des priorités où visiblement la sécurité n'est pas la première dans liste**.

Ah que c'est beau le capitalisme ! tongue.gif
Une entreprise à but non lucratif, càd une entreprise dont la priorité des priorités n'est pas le bénéfice égoïste de ses actionnaires, peut bien plus facilement* choisir comme priorité la sécurité avant tout, car elle ne devra pas se battre contre ses actionnaires pour cela.
Je dis ça je dis rien...
A vous de voir également quelles sont vos priorités.


(*) Ce qui veut dire que ce n'est pas une garantie absolue non plus car il peut y avoir d'autres motivations. Mais au moins, ce type d'entreprise n'a pas comme priorité absolue de maximiser les profits de ses actionnaires. Économiquement parlant, il lui suffit de rester à l'équilibre et de ne pas faire de pertes.

(**) En plus c'est idiot : Vu que c'est une "histoire de compromis", le pilote logiciel devrait AMHA être réglé au départ sur "sécurité maximum", et ensuite le
machine learning pourait être mis à contribution pour apprendre au système ce que sont les vrais faux positifs. Par exemple, si la voiture ralentit à cause d'un sac plastic, le conducteur humain sensé être bien réveillé et ne pas somnoler avec les mains posées sur le volant*** pourrait dire au système un truc du genre "fausse alerte, c'était un sac plastique"...

(***) Déjà que des accidents ont lieu à cause de conducteurs qui s'endorment alors qu'ils conduisent activement, comment imaginer qu'un surveillant qui n'a rien à faire de concret, aucune décision à prendre à chaque instant puisse rester attentif pendant tout un trajet ??


Ce message a été modifié par marc_os - 9 May 2018, 13:48.


--------------------
-----------------
--JE-------SUIS--
--AHMED-CHARLIE--
--CLARISSA-YOAV--
-----------------
Go to the top of the page
 
+Quote Post
iAPX
posté 9 May 2018, 13:42
Message #46


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 15 384
Inscrit : 4 Jan 2006
Lieu : dtq
Membre no 52 877



Citation (marc_os @ 9 May 2018, 08:30) *
...
L'article de arstechnica est très révélateur :
Citation
"There's a reason Uber would tune its system to be less cautious about objects around the car," Efrati wrote. "It is trying to develop a self-driving car that is comfortable to ride in."

"Uber had been racing to meet an end-of-year internal goal of allowing customers in the Phoenix area to ride in Uber’s autonomous Volvo vehicles with no safety driver sitting behind the wheel," Efrati added.

On peut dire que c'est un sacré bogue de conception :
Le choix des priorités où visiblement la sécurité n'est pas la première dans liste.

Ah que c'est beau le capitalisme ! tongue.gif
Une entreprise à but non lucratif, càd une entreprise dont la priorité des priorités n'est pas le bénéfice égoïste de ses actionnaires, peut bien plus facilement* choisir comme priorité la sécurité avant tout, car elle ne devra pas se battre contre ses actionnaires pour cela.
Je dis ça je dis rien...
A vous de voir également quelles sont vos priorités.


(*) Ce qui veut dire que ce n'est pas une garantie absolue non plus car il peut y avoir d'autres motivations. Mais au moins, ce type d'entreprise n'a pas comme priorité absolue de maximiser les profits de ses actionnaires. Économiquement parlant, il lui suffit de rester à l'équilibre et de ne pas faire de pertes.

Ce n'est vraiment pas de l'ordre du "bug", mais d'un choix délibéré effectué par des responsables chez Uber, un peu similaires aux choix de Tesla pour son "AutoPilot", les deux ne ralentissant pas quand ils ont des problèmes de perception ou de compréhension de leur environnement.

Et c'est criminel, tout comme l'altération par Uber de la vidéo du dashcam avant de la fournir aux forces de police de Tempe. C'est délibérément criminel et Uber a essayé de masquer ses erreurs.


--------------------
Utilisateur de Mac depuis 1985 et possesseur de Mac depuis 2005. Utilisateur d'un PC Lenovo au travail, sous Windows, qui renforce ma passion pour les Mac!
Go to the top of the page
 
+Quote Post
Sardequin
posté 9 May 2018, 14:00
Message #47


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 6 021
Inscrit : 3 Oct 2004
Lieu : Aix en Provence (Bouches du Rhône)
Membre no 24 606



Citation (Padbol38 @ 9 May 2018, 13:57) *
Citation (Sardequin @ 9 May 2018, 10:06) *
Un conducteur humain aurait-il évité la cycliste ? On n’en sait absolument rien ! Mais le conducteur « lambda » aurait par réflexe plongé sur les freins et tenté d’éviter la cycliste ! Alors que dans le cas présent la voiture autonome et son programme n’ont même pas essayé !


Il y avait un conducteur dans la voiture, et qui regardait la route. Et qui n'a pas pilé. Et quand bien même il suffit d'une seconde d'inattention...
Après là où je suis d'accord avec toi, c'est que le système avait détecté la cycliste. Il aurait pu l'éviter, mieux qu'un Homme. Mais il y aura d'autres blessés/morts afin que les systèmes apprennent. La courbe d'apprentissage est valable pour tout le monde ! Et ça n'empêche pas les usagers "humains" de la route d'être prudents. Dans pas si longtemps des voitures/camions (taxis, transports de personnes, de marchandises) rouleront en totale autonomie


Heu, si je me souviens bien de la courte vidéo qu’on a pu voir le « conducteur », non, pardon, le type dans la voiture n’avait pas les mains sur le volant, ne regardait pas la route et n’a vu la victime quasiment qu’au moment de l’impact !

Un conducteur lambda aurait eu les mains sur son volant et les yeux sur sa route !


--------------------

Août 2022 : MacBook Air M2 - Sonoma 14.3.1 // 2019 iPhone 7 128go (reconditionné) // Avril 2014 - APN Fujifilm X20.
Go to the top of the page
 
+Quote Post
marc_os
posté 9 May 2018, 14:10
Message #48


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 6 484
Inscrit : 21 Apr 2006
Membre no 59 799



Citation (iAPX @ 9 May 2018, 14:42) *
Ce n'est vraiment pas de l'ordre du "bug", mais d'un choix délibéré effectué par des responsables chez Uber, un peu similaires aux choix de Tesla pour son "AutoPilot", les deux ne ralentissant pas quand ils ont des problèmes de perception ou de compréhension de leur environnement.

Et c'est criminel, tout comme l'altération par Uber de la vidéo du dashcam avant de la fournir aux forces de police de Tempe. C'est délibérément criminel et Uber a essayé de masquer ses erreurs.

Effectivement, le terme « bogue de conception » est trop gentil.
Il ne s'agit pas d'une erreur de conception mais bien d'une décision délibérée de ne pas faire de la sécurité une priorité absolue car ça aurait (soit disant) nuit au confort des passagers ! Priorité à la conduite souple rapide et sans freinage intempestifs !
Ça me rappelle une collègue pour qui les passants et autres cyclistes en ville sont des obstacles l'empêchant d'avancer...


--------------------
-----------------
--JE-------SUIS--
--AHMED-CHARLIE--
--CLARISSA-YOAV--
-----------------
Go to the top of the page
 
+Quote Post
sansnom
posté 9 May 2018, 14:11
Message #49


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 146
Inscrit : 30 Jun 2005
Lieu : Loiret
Membre no 41 715



QUESTION :
En qui doit-on avoir confiance ?
Pendant longtemps, j'ai pensé que l'humanité avait toutes raisons pour elle et donc parfaitement apte à prendre les meilleures (bonnes) décisions.
Le temps passant, et l'âge venant (je suis un vieux con), j'émets de très forts doutes aujourd'hui.
Par contre, faire confiance à un robot ne me plaît pas du tout... d'autant que derrière un robot, il y a un programme... et que derrière le programme, il y a des femmes et des hommes... et que derrière l'ingénierie, il y a des intérêts financiers... et énormément d'arrogance à vouloir singer “le créateur”, s'il en fût un, et ce à n'importe quel prix !...


--------------------
MacMini M1 (13.4.1c) 16Go • iPhone 11 Pro Max 64Go • iPadMini Wi-Fi 6ème Gén. 64Go • aTV 4K 32Go
Go to the top of the page
 
+Quote Post
SartMatt
posté 9 May 2018, 14:13
Message #50


Macbidouilleur d'Or !
*****

Groupe : Rédacteurs
Messages : 32 187
Inscrit : 15 Nov 2005
Membre no 49 996



Citation (Macmmouth @ 9 May 2018, 08:13) *
Ça va poser de gros problèmes en termes de responsabilités.
Quand les premier procès et condamnations auront lieu, je pense que les acteurs du secteur vont se désengager devant le risque qu'ils encourent personnellement.
Sur ce point, Volvo s'est par exemple déjà engager à assumer la responsabilité des accidents provoqués par ses futurs systèmes autonomes. C'est un signal fort, qui montre à quel point ils ont confiance en leur produit.

Citation (FlyingNono @ 9 May 2018, 11:28) *
Au moins dans les avions, la redondance est vérifiée, la certification est faite par des intervenants extérieurs, la communication des incidents et correctifs est obligatoire, et les intervenants (et leur certifications référencées) sont tous tracés.
Et j'ajouterais aussi que les avions de lignes, c'est à tout casser quelques dizaines de modèles par constructeur, et un parc mondial de quelques dizaines de milliers d'unités. C'est donc beaucoup plus simple à tracer. Assurer la traçabilité et les mises à jour, ça sera sans doute le plus gros défi à surmonter pour les constructeurs de voitures autonomes.

Et même si le pilotage d'un avion est une tâche plus compliquée que la conduite d'une voiture, il est sans doute plus facile d'automatiser le pilotage d'un avion, car c'est une tâche beaucoup moins dépendante de l'environnement. Un cycliste qui surgit sur la trajectoire d'un avion de ligne, ça n'existe pas.

Citation (iAPX @ 9 May 2018, 12:43) *
Faut quand même noter que dans le cas de Tesla, il ne s'agit à proprement parler pas de voiture autonome, mais simplement d'une assistance à la conduite très avancée. Mais la communication de Tesla a ce sujet a été très mauvaise, pour ne pas dire mensongère, laissant parfois penser qu'il s'agit de conduite autonome, ce qui a conduit certains propriétaires de Tesla à prendre des risques inconsidérés (comme celui qui s'est récemment fait arrêter au Royaume-Uni installé sur le siège passager...) sans tenir compte des consignes d'utilisations données par Tesla.

À charge contre Tesla, il y a par contre le fait qu'ils n'ont strictement rien fait pour contraindre le respect de ses consignes. Ils disent qu'il ne faut pas lâcher le volant. La voiture devrait donc s'arrêter automatiquement si elle détecte que le volant est lâché plus de x secondes. Ils disent que ça ne fonctionne que sur les routes délimitées par des bandes blanches. La voiture devrait donc s'arrêter automatiquement si elle ne voit plus de bandes blanches.

Citation (LordJohnWhorfin @ 9 May 2018, 10:31) *
La conduite automatique n'éliminera sans doute jamais les accidents, mais si elle permet de réduire le risque statistique de façon significative ce sera déjà un énorme progrès.
Exact. Et ce n'est qu'une fois que les constructeurs auront pu démontrer leur capacité à réduire le risque statistique qu'ils devraient être autorisés à mettre leurs voitures sur le marché, pas avant.

Après, reste le problème de l'expérimentation, qui ne peut hélas pas se faire ailleurs que sur des routes publiques...

Citation (bwaje @ 9 May 2018, 14:16) *
Certes, mais si tu remplace l'ensemble du parc auto actuel par des véhicules autonomes déficients, ce n'est plus 1 mort que tu obtiens, mais 1 par véhicule tant que l'anomalie n'est pas corrigée.
Non. Parce que les conditions qui mènent à l’anomalie ne se reproduisent pas forcément.

Pour d'évidentes raisons statistiques, plus le temps passe, plus les anomalies qui subsistent correspondent à des cas se produisant rarement. C'est justement pour ça que les fabricants de voitures autonomes ont besoin de tests sur routes publiques, pour confronter leur système à un maximum de situations, voir comment il y réagit et assurer les corrections qui s'imposent.

Ça va d'ailleurs soulever pas mal de problèmes lorsqu'il s'agira d'internationaliser ces produits. Aujourd'hui, une voiture homologuée dans un pays de l'UE est habilitée à être commercialisée et à circuler dans tous les pays de l'UE. Parce que c'est une homologation basée sur des critères techniques.

Mais même si la règlementation technique est commune dans l'UE, il y a des petites différences au niveau du code de la route, mais aussi et surtout au niveau des habitudes de circulation, aussi bien des véhicules que des piétons et cyclistes. Et donc, une situation peut être courante dans un pays alors qu'elle ne survient quasiment jamais dans un autre. Du coup, un système autonome testé et validé en Allemagne pourrait faire un massacre une fois mis sur les routes italiennes, parce que des tas de cas n'auront jamais été rencontrés.


--------------------

Go to the top of the page
 
+Quote Post
yponomeute
posté 9 May 2018, 14:14
Message #51


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 4 969
Inscrit : 26 Jan 2011
Lieu : Pollachius virens
Membre no 164 083



Citation (marc_os @ 9 May 2018, 14:30) *
L'article de arstechnica est très révélateur :
Citation
"There's a reason Uber would tune its system to be less cautious about objects around the car," Efrati wrote. "It is trying to develop a self-driving car that is comfortable to ride in."

"Uber had been racing to meet an end-of-year internal goal of allowing customers in the Phoenix area to ride in Uber’s autonomous Volvo vehicles with no safety driver sitting behind the wheel," Efrati added.



La personne en question n'était pas "around the car", mais devant la voiture qui a foncé dessus sans ralentir ni essayer de l'éviter. Ne pas prêter attention à un obstacle qui se situe en plein sur la trajectoire de la voiture ce n'est pas ce qu'on peut appeler un bug, ça ressemble beaucoup plus à un défaut de conception majeur.

Ce message a été modifié par yponomeute - 9 May 2018, 14:14.


--------------------
MBP 2017 15" avec clavier pourri et touchbar inutile
Go to the top of the page
 
+Quote Post
maclinuxG4
posté 9 May 2018, 14:16
Message #52


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 3 459
Inscrit : 28 Dec 2001
Lieu : ile de france
Membre no 1 715



Citation (yponomeute @ 9 May 2018, 10:40) *
soit un ratio de 1 mort pour 1000 voitures.
soit un ration de 2 morts pour 200 voitures autonome


c'est pas aussi simple, il faut comparer le nombres d'heure ou la voiture roule, le total et le ramener annuellement

les statistique donnent raison pour la voiture actuelle pour le moment,mais elles vont évoluées dans les prochaines année

wink.gif wink.gif



--------------------
hack Z170-UD5 TH + i7 6700k + 16 Go dimm + radeon 580 pulse 8192 mo + SSD 1 T / 2 T + acer XF240H+ macOS Mac OS + Mac OS 10.12.6 /10.14.6 + imprimante HP5520 + (port DP / carte HDMI ) + H75 v2 +r5138
 macpro1,1 Dual core 2,66 GHz, 4 Go FB-dimm+ radeon HD 5770 + ST 500 Go + LCD Samsung 710T + Mac OS 10.6.8 + plantronics DSP 500 + Canon S50 + imprimante HP5520 +  ipad mini
► NO WINDOWS BOOT... Only  linux manjaro
hack AMD 5950 B550-vision D + 32 Go dimm + radeon VII 16 Go+ 2 M2 x 1 xT + SSD 1 T / 2 T + sonnet ether 10G+ acer XF240H+ 10.14.6 + H150 pro + O C 07.1+ boitier 900 v2 Be quiet

--------------------
Go to the top of the page
 
+Quote Post
Hebus
posté 9 May 2018, 14:24
Message #53


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 7 168
Inscrit : 24 Sep 2015
Lieu : Pays d'Aix
Membre no 196 570



Citation (yponomeute @ 9 May 2018, 15:14) *
Citation (marc_os @ 9 May 2018, 14:30) *
L'article de arstechnica est très révélateur :
Citation
"There's a reason Uber would tune its system to be less cautious about objects around the car," Efrati wrote. "It is trying to develop a self-driving car that is comfortable to ride in."

"Uber had been racing to meet an end-of-year internal goal of allowing customers in the Phoenix area to ride in Uber’s autonomous Volvo vehicles with no safety driver sitting behind the wheel," Efrati added.



La personne en question n'était pas "around the car", mais devant la voiture qui a foncé dessus sans ralentir ni essayer de l'éviter. Ne pas prêter attention à un obstacle qui se situe en plein sur la trajectoire de la voiture ce n'est pas ce qu'on peut appeler un bug, ça ressemble beaucoup plus à un défaut de conception majeur.


Les gens n’ont pas encore intégré, que même quand ça fait impression, une IA actuelle, du deep learning, de l’optimisation avec seuil... c’est totalement con...


--------------------
Bobo du Pays d'Aix et Fanboy Apple
Go to the top of the page
 
+Quote Post
amike
posté 9 May 2018, 14:34
Message #54


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 1 508
Inscrit : 9 Aug 2012
Membre no 178 091



Aux pessimistes : voyez le transports par avion...

Du reste, pour le bug logiciel qui "serait" (ah le conditionnel wink.gif ) responsable de la mort du piéton, on est en plein raccourci !

- le logiciel buggé n'a pas décidé de tuer la cycliste !

- si bug il y eut sur l'évaluation, considérant que le cycliste n'allait pas rencontrer son point de coïncidence avec le véhicule, alors il y aurait dû exister une garde logiciel s'assurant par un autre moyen que l'évaluation n'était pas incohérente.

- enfin, last but not least, il aurait dû exister sur ce véhicule une sécurité totalement indépendante de l'IA ou un doublement matériel si c'est une anomalie de la détection, qui aurait dû déclencher un freinage d'urgence : Obstacle devant => frein d'urgence. Pas de calcul d'évitement par la droite ou par la gauche comme certains s'imaginent être capable de le faire, inconscient des problèmes en chaîne qu'ils peuvent provoquer.

Donc, bug ou pas, les conditions de sécurité contre une défaillance n'étaient pas suffisantes pour une conduite par un ingénieur d'Uber en test.
Mais cela ne remet pas en cause le concept de voiture autonome.
Go to the top of the page
 
+Quote Post
vlady
posté 9 May 2018, 14:45
Message #55


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 2 627
Inscrit : 26 Jun 2010
Lieu : Paris
Membre no 155 873



Citation (SartMatt @ 9 May 2018, 14:13) *
...
Du coup, un système autonome testé et validé en Allemagne pourrait faire un massacre une fois mis sur les routes italiennes, parce que des tas de cas n'auront jamais été rencontrés.


Et après cette sélection "naturelle" les survivants pourront pleinement profiter les avantages de la voiture autonome. wacko.gif


--------------------
Macbook 16" M1 Pro 32GB/1TB + Studio Display, Dell Precision 3640 i7-10700K/32GB, Fedora 36 Linux, Casque Sony WH-1000XM4, iPhone 6s 64GB
Go to the top of the page
 
+Quote Post
iAPX
posté 9 May 2018, 14:49
Message #56


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 15 384
Inscrit : 4 Jan 2006
Lieu : dtq
Membre no 52 877



Citation (SartMatt @ 9 May 2018, 09:13) *
Citation (iAPX @ 9 May 2018, 12:43) *
Faut quand même noter que dans le cas de Tesla, il ne s'agit à proprement parler pas de voiture autonome, mais simplement d'une assistance à la conduite très avancée. Mais la communication de Tesla a ce sujet a été très mauvaise, pour ne pas dire mensongère, laissant parfois penser qu'il s'agit de conduite autonome, ce qui a conduit certains propriétaires de Tesla à prendre des risques inconsidérés (comme celui qui s'est récemment fait arrêter au Royaume-Uni installé sur le siège passager...) sans tenir compte des consignes d'utilisations données par Tesla.

À charge contre Tesla, il y a par contre le fait qu'ils n'ont strictement rien fait pour contraindre le respect de ses consignes. Ils disent qu'il ne faut pas lâcher le volant. La voiture devrait donc s'arrêter automatiquement si elle détecte que le volant est lâché plus de x secondes. Ils disent que ça ne fonctionne que sur les routes délimitées par des bandes blanches. La voiture devrait donc s'arrêter automatiquement si elle ne voit plus de bandes blanches.

Là aussi une décision pour privilégier le confort au détriment de la sécurité, avec comme résultat que les Tesla avec AutoPilot ont plus d'accidents mortels que les voitures de la même catégorie (voitures de Luxe récentes), catégorie 10X moins accidentogène que les petites voitures (incluant des vieilles voitures).

Tesla triche, joue avec les mots, et fait en sorte que son "AutoPilot" continue même quand le conducteur n'est pas du tout attentif, et a -aussi- choisi de ne pas ralentir ou freiner quand la voiture a du mal a percevoir ou comprendre son environnement.
Le discours de ses publicités/site web est différent du discours officiel sur ce qu'est l'AutoPilot, lui-même différent de la façon dont la voiture interagit avec son conducteur (ou plutôt lui fout une paix presque royale quand il n'a pas les mains sur le volant).


--------------------
Utilisateur de Mac depuis 1985 et possesseur de Mac depuis 2005. Utilisateur d'un PC Lenovo au travail, sous Windows, qui renforce ma passion pour les Mac!
Go to the top of the page
 
+Quote Post
yponomeute
posté 9 May 2018, 14:57
Message #57


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 4 969
Inscrit : 26 Jan 2011
Lieu : Pollachius virens
Membre no 164 083



Citation (SartMatt @ 9 May 2018, 15:13) *
Pour d'évidentes raisons statistiques, plus le temps passe, plus les anomalies qui subsistent correspondent à des cas se produisant rarement. C'est justement pour ça que les fabricants de voitures autonomes ont besoin de tests sur routes publiques, pour confronter leur système à un maximum de situations, voir comment il y réagit et assurer les corrections qui s'imposent.

Je ne partage pas ton avis sur ce sujet. Tester les voitures autonomes sur le réseau routier public n'est absolument pas efficace car comme tu l'indiques il ne se produit que rarement quelque chose qui pourrait permettre d'améliorer le fonctionnement de la voiture. Cela nécessite donc de parcourir des centaines de milliers, ou des millions de km pour une amélioration toute relative. En simulation par contre on peut "balancer" un piéton sur la trajectoire de la voiture aussi souvent qu'on le souhaite, et obtenir l'équivalent de centaines de milliers de km parcourus en quelques heures (ou peut être en quelques minutes).

Faire rouler une voiture autonome sur le réseau routier public ressemble à s'y méprendre à une opération de marketing pour indiquer qu'on est en avance dans le domaine.


--------------------
MBP 2017 15" avec clavier pourri et touchbar inutile
Go to the top of the page
 
+Quote Post
marc_os
posté 9 May 2018, 14:59
Message #58


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 6 484
Inscrit : 21 Apr 2006
Membre no 59 799



Citation (SartMatt @ 9 May 2018, 15:13) *
Et même si le pilotage d'un avion est une tâche plus compliquée que la conduite d'une voiture, il est sans doute plus facile d'automatiser le pilotage d'un avion, car c'est une tâche beaucoup moins dépendante de l'environnement. Un cycliste qui surgit sur la trajectoire d'un avion de ligne, ça n'existe pas.

Un cycliste non, bien que... tant que l'avion n'a pas décollé on pourrait imaginer un cycliste égaré sur la piste, mais des oies sauvages et des oiseaux, si. D'ailleurs certains aéroports utilisent des rapaces pour faire fuir les volatiles indésirables. tongue.gif
Par contre, l'avion ne va pas tenter d'éviter ces oies sauvages, car il est conçu de telle manière à ne pas crasher dans le cas de telles rencontres du 4ème type. cool.gif


--------------------
-----------------
--JE-------SUIS--
--AHMED-CHARLIE--
--CLARISSA-YOAV--
-----------------
Go to the top of the page
 
+Quote Post
Sgt.Pepper
posté 9 May 2018, 15:00
Message #59


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 3 606
Inscrit : 10 Feb 2011
Membre no 164 526



Citation (sansnom @ 9 May 2018, 15:11) *
Par contre, faire confiance à un robot ne me plaît pas du tout... d'autant que derrière un robot, il y a un programme... et que derrière le programme, il y a des femmes et des hommes... et que derrière l'ingénierie, il y a des intérêts financiers... et énormément d'arrogance à vouloir singer “le créateur”, s'il en fût un, et ce à n'importe quel prix !...[/indent]

Go to the top of the page
 
+Quote Post
yponomeute
posté 9 May 2018, 15:03
Message #60


Macbidouilleur d'Or !
*****

Groupe : Membres
Messages : 4 969
Inscrit : 26 Jan 2011
Lieu : Pollachius virens
Membre no 164 083



Citation (SartMatt @ 9 May 2018, 15:13) *
Un cycliste qui surgit sur la trajectoire d'un avion de ligne, ça n'existe pas.

Et les soucoupes volantes qui surgissent de nulle part quand on survole la Cordillère des Andes, tu y as pensé ?


--------------------
MBP 2017 15" avec clavier pourri et touchbar inutile
Go to the top of the page
 
+Quote Post

3 Pages V  < 1 2 3 >
Reply to this topicStart new topic
1 utilisateur(s) sur ce sujet (1 invité(s) et 0 utilisateur(s) anonyme(s))
0 membre(s) :

 



Nous sommes le : 26th April 2024 - 18:04