<div dir="ltr">Sorry Les, can't cheer you up yet...<div><br></div><div>Coolness always always seems to Conquer Caution, which Constrains Convenience, Convincing the need for Coolness :-)</div><div><br></div><div>Certainly the Australian press is impressed <span style="font-family:Arial,Helvetica,sans-serif"><a href="https://www.drive.com.au/news/tesla-full-self-driving-unlocked-in-australia-for-public-use-but-not-for-all-customers/" target="_blank">FINALLY: Tesla Full Self-Driving unlocked in Australia... for some | Drive</a></span></div><div><br></div><div>Others are more hesitant, <a href="https://www.abc.net.au/news/2025-09-24/tesla-self-driving-technology-rules-differ-around-australia/105808104" target="_blank">https://www.abc.net.au/news/2025-09-24/tesla-self-driving-technology-rules-differ-around-australia/105808104</a>, stating "The National Transport Commission is developing a framework to govern the use of autonomous vehicles Australia-wide before technology evolves further". Maybe this should have been done before FSD (Supervise) mode feature was released for downloading. Just a little software update costing only $10K... </div><div><br></div><div>From what I understand, the "supervised" bit is surveillance of the driver's eyes, dropping out of FSD if it "sees" it not being focussed on the road. I hope this is also considered a safety function.</div><div><br></div><div>I miss the days of fully proven functional safety systems where we are dependably protected from dangerous failures. In a similar vein, I am seeing IoT and Cloud system applications appearing in gas pipeline protection systems without the application of functional safety standards.</div><div><br></div><div>It goes way back to what I was taught as a very young engineer - "just because you can doesn't mean you should; just because you should doesn't mean you can."</div><div><br></div><div>Maybe I'm just getting too sceptical at my age...</div><div><br></div><div>Bruce Hunter</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 21 Oct 2025 at 09:52, Les Chambers <<a href="mailto:les@chambers.com.au" target="_blank">les@chambers.com.au</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Michael<br>
<br>
Thanks for your concern regarding the integration of AI with Safety-Critical <br>
systems. <br>
<br>
Tesla full self driving/supervised is now available in Australia. There have <br>
been some crazy behaviours. <br>
<br>
Refer: <a href="https://bit.ly/CrazyTeslaFSD" rel="noreferrer" target="_blank">https://bit.ly/CrazyTeslaFSD</a><br>
<br>
It seems the classical engineering definition of the term, "technology" <br>
remains axiomatic. "Technology is a thing that was invented after you were <br>
born and … remains a thing that doesn't quite work yet."<br>
Elon is yet to get his functional safety act together.<br>
<br>
To me, it is annoying that these vehicles, guided as they are with immature <br>
technology, were allowed on Australian roads by naive regulators.<br>
<br>
I'm yet to discover any AI driven guidance system that can deliver the SIL <br>
4/ASIL D Performance that these vehicles should provide. It seems to me that <br>
attempts to develop functional safety standards for this class of system are <br>
fruitless given: <br>
1. No one, including their developers, fully understands why or how they work <br>
at all.<br>
2. The black box that is AI is a demonstrably unreliable agent in the service <br>
of public safety. Further, the most effective risk management strategy in <br>
assuring SIL 4/ASIL D performance is to remove the AI black box altogether.<br>
<br>
I have faith that, in the fullness of time, this problem will be solved with <br>
Gold Standard neural networks that can be trusted. Waymo is heading in this <br>
direction but with a US$250,000 vehicle geofenced to territory thoroughly <br>
LIDAR-mapped and bristling with LIDAR sensors. <br>
<br>
In the meantime, shareholder value and the "but-it's-so-cool!!" zeitgeist has <br>
trumped public safety guiding vehicles with neural networks that class <br>
somewhere south of bronze standard. <br>
<br>
After 50 years engineering safety-critical systems, beginning with direct <br>
software control of potentially explosive chemical reactions in the 1970s, I'm <br>
watching my profession seemingly discard decades of lessons we paid for dearly<br>
—in nervous breakdowns, blood and treasure. <br>
<br>
A sad state of affairs.<br>
<br>
If anyone on this list could cheer me up, I would be most grateful.<br>
<br>
Cheers<br>
Les<br>
<br>
> Hello everybody!<br>
> <br>
> Generally I like to stay out of the discussion here although I appreciate <br>
this resource very much. As my company works on automation devices and <br>
especially small proximity sensors I would get a quite narrow viewing angle so <br>
it is important to get information like I get it here, from avionics through <br>
railway through other systems.<br>
> <br>
> Unfortunately I don't have further information on the self-driving car <br>
industry and what they do to justify what they put on the market. In Germany <br>
you would have the institution of the Kraftfahrtbundesamt as an institution <br>
and I am very sure that they are quite conservative about that. But this shows <br>
why everybody is eager on rulesets regarding AI in functional safety so we are <br>
working on that.<br>
> <br>
> Very interesting that we standardize safety and AI while there still is <br>
debate about what AI really is. But actually there seem to be some systems <br>
that might save lives so we need to look under which circumstances that can be <br>
allowed. I think if I would need to defend the use of AI in safety at the <br>
moment people would ask why I took that risk and used AI. Somewhere in the <br>
future it could be that I need to defend myself because I didn't use AI <br>
because it would have prevented the accident. Some say that moment will never <br>
come. Some say this moment is in the past, maybe not for something as complex <br>
as self-driving cars but perhaps in other applications with perhaps less <br>
dimensional inputs.<br>
> <br>
> Some would say risk reduction below SIL 1 should not be regulated too <br>
strongly. But when I think about how people put some data into a system and <br>
cheer if it showed nice behaviour it might be good to ask about requirement <br>
management, configuration management and solid proof of validity of the <br>
concept - so speak about functional safety management to the AI audience. <br>
That's the direction now that the ISO/IEC group will meet in Sydney this week <br>
for TS 22440.<br>
> <br>
> But not to bore with this stuff - maybe not a safety application but a case <br>
where people are detected using WLAN routers - even if they don't have WLAN <br>
devices with them. A little scary but they say in a different article that <br>
they could distinguish people walking into a room even when they carried a <br>
container with bottles of beer. That showed me that this is a realistic <br>
University scenario here in Germany. This is the only resource I found in <br>
English but it is actually also distributed from other sources.<br>
> <a href="https://interestingengineering.com/innovation/wifi-tech-can-identify-" rel="noreferrer" target="_blank">https://interestingengineering.com/innovation/wifi-tech-can-identify-</a><br>
individuals<br>
> <br>
> Curious where AI and safety will go. Have a good week!<br>
> Michael<br>
> <br>
> --<br>
> Michael KINDERMANN (he/him)<br>
> Head of Functional Safety<br>
> Team Leader Safety & Security<br>
> Dpt. Global Compliance<br>
> Pepperl+Fuchs SE, Mannheim<br>
> <br>
> Pepperl+Fuchs SE, Mannheim<br>
> Vorstand/Board member: Dr. Wilhelm Nehring (Vors.), Tobias Blöcher, Lutz <br>
Liebers, Reiner Müller, Florian Ochs, Martin Walter<br>
> Vorsitzende des Aufsichtsrats/Chairwoman of the supervisory board: Monika <br>
Müller-Michael<br>
> Registergericht/Register Court: AG Mannheim HRB 737016 âˆ™ UST-ID Nr. DE <br>
143877372<br>
> <br>
> Wichtiger Hinweis:<br>
> Diese E-Mail einschliesslich ihrer Anhaenge enthaelt vertrauliche und <br>
rechtlich geschuetzte Informationen, die nur fuer den Adressaten bestimmt <br>
sind. Sollten Sie nicht der bezeichnete Adressat sein, so teilen Sie dies <br>
bitte dem Absender umgehend mit und loeschen Sie diese Nachricht und ihre <br>
Anhaenge. Die unbefugte Weitergabe, das Anfertigen von Kopien und jede <br>
Veraenderung der E-Mail ist untersagt. Der Absender haftet nicht fuer die <br>
Inhalte von veraenderten E-Mails.<br>
> <br>
> Important Information:<br>
> This e-mail message including its attachments contains confidential and <br>
legally protected information solely intended for the addressee. If you are <br>
not the intended addressee of this message, please contact the addresser <br>
immediately and delete this message including its attachments. The <br>
unauthorized dissemination, copying and change of this e-mail are strictly <br>
forbidden. The addresser shall not be liable for the content of such changed <br>
e-mails.<br>
> _______________________________________________<br>
> The System Safety Mailing List<br>
> <a href="mailto:systemsafety@TechFak.Uni-Bielefeld.DE" target="_blank">systemsafety@TechFak.Uni-Bielefeld.DE</a><br>
> Manage your subscription: <a href="https://lists.techfak.uni-" rel="noreferrer" target="_blank">https://lists.techfak.uni-</a><br>
<a href="http://bielefeld.de/mailman/listinfo/systemsafety" rel="noreferrer" target="_blank">bielefeld.de/mailman/listinfo/systemsafety</a><br>
<br>
<br>
<br>
--<br>
Les Chambers<br>
<a href="mailto:les@chambers.com.au" target="_blank">les@chambers.com.au</a><br>
<br>
<a href="https://www.chambers.com.au" rel="noreferrer" target="_blank">https://www.chambers.com.au</a><br>
<a href="https://www.systemsengineeringblog.com" rel="noreferrer" target="_blank">https://www.systemsengineeringblog.com</a><br>
<br>
+61 (0)412 648 992<br>
<br>
<br>
<br>
_______________________________________________<br>
The System Safety Mailing List<br>
<a href="mailto:systemsafety@TechFak.Uni-Bielefeld.DE" target="_blank">systemsafety@TechFak.Uni-Bielefeld.DE</a><br>
Manage your subscription: <a href="https://lists.techfak.uni-bielefeld.de/mailman/listinfo/systemsafety" rel="noreferrer" target="_blank">https://lists.techfak.uni-bielefeld.de/mailman/listinfo/systemsafety</a><br>
</blockquote></div>