<div dir="ltr"><div dir="ltr"><div dir="ltr">> I have a paper coming out in the SCSC eJournal "any day now" on functional safety and (what I call)<br>oracular subsystems. </div><div dir="ltr"><br></div><div dir="ltr"><div dir="ltr">The latest issue of the Safety-Critical Systems eJournal (ISSN 2754-1118) is now available at <a href="https://scsc.uk/scsc-196">https://scsc.uk/scsc-196</a></div><div dir="ltr"><br></div><div dir="ltr">Peter's paper can be found at <a href="https://scsc.uk/journal/index.php/scsj/article/view/32/36">https://scsc.uk/journal/index.php/scsj/article/view/32/36</a></div><div dir="ltr"><br></div><div dir="ltr"><br></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 23 Aug 2024 at 09:09, Prof. Dr. Peter Bernard Ladkin <<a href="mailto:ladkin@causalis.com">ladkin@causalis.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 2024-08-23 07:13 , Les Chambers wrote:<br>
> Hi All<br>
> Stuart Russell spoke at the Paris AI safety breakfast, July 2024.<br>
<br>
Good spot, Les. Thanks!<br>
<br>
Stuart has been for decades one of the most cogent commentators on AI and safety, and by "safety" <br>
here I mean all the social implications, including military uses, not just "our" field of <br>
engineering-system functional safety. Recall the infamous "Slaughterbots" video: Stuart noted that <br>
all the technology to achieve it was currently available (at the time of release).<br>
<br>
He is the coauthor, with Peter Norvig, of what has become the foremost textbook in AI, first <br>
published 29 years ago. "AI" here means all aspects, not just neural networks and machine learning, <br>
and most certainly not just LLMs.<br>
<br>
> Watch and weep as 50 years of safety critical systems engineering process development are ignored <br>
> as AI companies beat on.<br>
<br>
It is not just AI companies. There are plenty of engineering companies which are incorporating <br>
components using AI technologies into their safety-related systems. Consider automated road <br>
vehicles. That is not being driven (so to speak) by AI companies, that is being driven by automobile <br>
companies, and they have been at it for some two decades almost. It started with sensor-fusion <br>
technology for capturing driving-relevant aspects of the environment.<br>
<br>
Some engineering colleagues, who have little or no computer science background let alone in AI, have <br>
turned themselves into "experts" on "AI and functional safety" and have been giving lectures on it <br>
at functional safety conferences. This concerns me. One of the reasons for them doing so is that <br>
there is a big push in standardisation in AI and functional safety at the moment. Maybe one, maybe <br>
two of the people I know who are involved in that had any experience with any AI technology before <br>
the standardisation activity started. It is inappropriate to blame people for what they initially <br>
don't know, but I think it reasonable to expect that functional safety people acquaint themselves <br>
with AI technology if people are pushing to use it in safety-related systems. The first step is <br>
surely to try to understand "AI" technologies and their capabilities, and nobody I know is familiar <br>
even to a modest degree with the technologies explicated in Stuart's text (latest edition 2020).<br>
<br>
It is a bit like someone trying to tell people how to build compilers without having any <br>
understanding of how to parse formal languages. I mean, would you listen to that?<br>
<br>
On the most basic level, many colleagues do not/cannot yet distinguish between the deep-learning <br>
artificial neural network "adaptive control" technology, which has been demonstrated for example at <br>
NASA for non-standard enhanced flight control of military jets as well as large commercial airplanes <br>
over some three decades now, and the transformer/word-embedding algorithms used to construct large <br>
language models such as ChatGPT. Duuuh.<br>
<br>
I have a paper coming out in the SCSC eJournal "any day now" on functional safety and (what I call) <br>
oracular subsystems. ISO and IEC have been developing a Technical Report (informational, not <br>
normative) on functional safety and AI for many years now. ISO/IEC TR 5469 was finally published in <br>
January 2024. According to my interpretation, the "model" of AI subsystems used in TR 5469 does not <br>
match the architecture which is used in AI-assisted control systems. That is a pretty basic disconnect.<br>
<br>
 From what I understand, there is going to be a standard (that is, with normative parts) to follow <br>
TR 5469. IEC SC65A has a new subcommittee J21 on "functional safety and artificial intelligence"; it <br>
has overlap with the ISO/IEC joint committee SC42 but I don't know exactly what the formal relation <br>
is. Its Convenor is Audrey Canning, who is also the Convenor of the Maintenance Team MT 61508-3 for <br>
61508 Part 3 (software). There was a "new work proposal" for a Technical Specification of <br>
Requirements for AI and FS, circulated about a year ago. The designation is PNW TS 65A-1100 and the <br>
name of the document will be ISO/IEC TS 22440. From what I understand (which is not much at this <br>
point), TS 22440 will be a further development of TR 5469.<br>
<br>
There may be people here who know more about these organisational developments than I do.<br>
<br>
Having just finished my own involvement with developing a new standard (it was supposed to be <br>
published on Wednesday, but there needed to be a couple of typos fixed, so it will be August 29th), <br>
I am somewhat loathe to recommend that people get involved, because I can't say my experience has <br>
been uplifting. But the way that AI will be constrained in safety-related systems is, as far as I <br>
can see, through technical standards, which might well be backed up by laws. Technical standards are <br>
what govern the current deployment of safety-related digital-technology systems, ultimately backed <br>
up by regulation/law, and I don't expect that it will be any different for AI subsystems of <br>
safety-related systems.<br>
<br>
There are two main aspects limiting any involvement of mine. One is that in the last few years I <br>
have been feeling overexposed to standards committees. The second is that ISO appears to be <br>
essentially involved, and the ISO mirror in Germany, DIN, levies fees for participation in any of <br>
its standardisation activities (frankly I'd rather people were paying me for any expertise of mine <br>
than the other way round).<br>
<br>
PBL<br>
<br>
Prof. Dr. Peter Bernard Ladkin<br>
Causalis Limited/Causalis IngenieurGmbH, Bielefeld, Germany<br>
Tel: +49 (0)521 3 29 31 00<br>
<br>
_______________________________________________<br>
The System Safety Mailing List<br>
<a href="mailto:systemsafety@TechFak.Uni-Bielefeld.DE" target="_blank">systemsafety@TechFak.Uni-Bielefeld.DE</a><br>
Manage your subscription: <a href="https://lists.techfak.uni-bielefeld.de/mailman/listinfo/systemsafety" rel="noreferrer" target="_blank">https://lists.techfak.uni-bielefeld.de/mailman/listinfo/systemsafety</a><br>
</blockquote></div>