<div dir="ltr">On self driving cars atm the driver is required to sit on the driver's position ready to engage the controls. The moment the driver touches the gas pedal the car is under his control. So the system is designed in such a way that the driver is actually in control. In the only accident so far in the history of Tesla the driver was actually sleeping instead of paying attention. Also the issue of preventing the AI from optimising out some edge cases can be solved by carefully planning the tests that the neural network is trained on, which includes hitting the cycler instead of the folks in a bus stop or hitting the tree instead of the animal etc. I'm confident this stuff has already been taken care of, but of course I would love it if Tesla's code was open source. Although I fail to see how they could continue making revenue if they open sourced their code( as that is basically 50% of what they are selling). </div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Apr 28, 2017 at 5:55 PM, Luke Kenneth Casson Leighton <span dir="ltr"><<a href="mailto:lkcl@lkcl.net" target="_blank">lkcl@lkcl.net</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Fri, Apr 28, 2017 at 3:45 PM, <a href="mailto:mike.valk@gmail.com">mike.valk@gmail.com</a><br>
<<a href="mailto:mike.valk@gmail.com">mike.valk@gmail.com</a>> wrote:<br>
<br>
> 2017-04-28 16:17 GMT+02:00 Luke Kenneth Casson Leighton <<a href="mailto:lkcl@lkcl.net">lkcl@lkcl.net</a>>:<br>
>><br>
>><br>
>>  the rest of the article makes a really good point, which has me<br>
>> deeply concerned now that there are fuckwits out there making<br>
>> "driverless" cars, toying with people's lives in the process.  you<br>
>> have *no idea* what unexpected decisions are being made, what has been<br>
>> "optimised out".<br>
><br>
><br>
> That's no different from regular "human" programming.<br>
<br>
</span> it's *massively* different.  a human will follow their training,<br>
deploy algorithms and have an *understanding* of the code and what it<br>
does.<br>
<br>
 monte-carlo-generated iterative algorthms you *literally* have no<br>
idea what it does or how it does it.  the only guarantee that you have<br>
is that *for the set of inputs CURRENTLY tested to date* you have<br>
"known behaviour".<br>
<br>
 but for the cases which you haven't catered for you *literally* have<br>
no way of knowing how the code is going to react.<br>
<br>
 now this sounds very very similar to the human case: yes you would<br>
expect human-written code to also have to pass test suites.<br>
<br>
 but the real difference is highighted with the following question:<br>
when it comes to previously undiscovered bugs, how the heck are you<br>
supposed to "fix" bugs that you have *LITERALLY* no idea how the code<br>
even works?<br>
<br>
 and that's what it really boils down to:<br>
<br>
 (a) in unanticipated circumstances you have literally no idea what<br>
the code will do.  it could do something incredibly dangerous.<br>
<br>
 (b) in unanticipated circumstances the chances of *fixing* the bug in<br>
the genetic-derived code are precisely: zero.  the only option is to<br>
run the algorithm again but with a new set of criteria, generating an<br>
entirely new algorithm which *again* is in the same (dangerous)<br>
category.<br>
<div class="HOEnZb"><div class="h5"><br>
 l.<br>
<br>
______________________________<wbr>_________________<br>
arm-netbook mailing list <a href="mailto:arm-netbook@lists.phcomp.co.uk">arm-netbook@lists.phcomp.co.uk</a><br>
<a href="http://lists.phcomp.co.uk/mailman/listinfo/arm-netbook" rel="noreferrer" target="_blank">http://lists.phcomp.co.uk/<wbr>mailman/listinfo/arm-netbook</a><br>
Send large attachments to <a href="mailto:arm-netbook@files.phcomp.co.uk">arm-netbook@files.phcomp.co.uk</a></div></div></blockquote></div><br></div>