{"id":2549,"date":"2021-04-27T09:05:16","date_gmt":"2021-04-27T07:05:16","guid":{"rendered":"https:\/\/websites.fraunhofer.de\/stec\/?post_type=projects&#038;p=2549"},"modified":"2023-03-10T13:51:21","modified_gmt":"2023-03-10T12:51:21","slug":"evidence-based-safety-assurance-of-ai-methods","status":"publish","type":"projects","link":"https:\/\/s-tec.de\/en\/projekte\/evidence-based-safety-assurance-of-ai-methods\/","title":{"rendered":"Evidence-based safety assurance of AI methods"},"content":{"rendered":"\n\n<div class=\"wp-block-group MainContent MainContent--page\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<div class=\"wp-block-v4core-inner-blocks MainContent-left\">\n<div class=\"wp-block-v4core-layout undefined alignwide--left\"><div class=\"\"><\/div><\/div>\n\n\n\n<h4 class=\"wp-block-heading\">Ausgangssituation<\/h4>\n\n\n\n<p>Vor der industriellen Marktreife einer neuen Technologie ist es n\u00f6tig, \u00fcberzeugend darstellen zu k\u00f6nnen, dass die Anwendung der Technologie sicher ist. Dies kann durch Assurance Cases geschehen, welche mithilfe von Metriken und Nachweisen eine Argumentationsstruktur aufbauen, um die Sicherheit einer Applikation zu gew\u00e4hrleisten. Das Vertrauen in einen solchen Nachweis h\u00e4ngt stark von den eingesetzten Beweisen und Metriken ab. Eine allgemein akzeptierte Argumentationsstruktur f\u00fcr einen solchen Nachweis im Bereich der<a href=\"https:\/\/s-tec.de\/themenfelder\/kuenstliche-intelligenz-quanten-computing\/\" target=\"_blank\" rel=\"noreferrer noopener\"> K\u00fcnstlichen Intelligenz (KI)<\/a> existiert aktuell noch nicht, unter anderem ist unklar, welche Beweise und Metriken hierf\u00fcr eingesetzt werden k\u00f6nnen. Beispielsweise kann ein akzeptables Restrisiko f\u00fcr den Einsatz von Methoden der KI (z.B. Deep Neural Networks, Bayesian Networks, Support Vector Machines) aktuell in der Sicherheitstechnik nicht nachgewiesen werden. Dies hemmt den Einsatz dieser vielversprechenden Technologie in der Sicherheitstechnik.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" decoding=\"async\" width=\"1066\" height=\"564\" src=\"https:\/\/s-tec.de\/wp-content\/uploads\/2021\/12\/funktionsschaubild_1.png\" alt=\"\" class=\"wp-image-5629\" srcset=\"https:\/\/s-tec.de\/wp-content\/uploads\/2021\/12\/funktionsschaubild_1.png 1066w, https:\/\/s-tec.de\/wp-content\/uploads\/2021\/12\/funktionsschaubild_1-768x406.png 768w\" sizes=\"auto, (max-width: 1066px) 100vw, 1066px\" \/><figcaption>\u00a9 SICK AG<\/figcaption><\/figure>\n\n\n\n<h4 class=\"wp-block-heading\">Projektablauf<\/h4>\n\n\n\n<p>Die Beweisf\u00fchrungsmethode der Goal Structuring Notation (GSN) wurde f\u00fcr eine F\u00f6rderbandapplikation untersucht. Die F\u00f6rderbandanwendung wird mithilfe zweier Laserscanner \u00fcberwacht, welche die sicherheitskritische Abschaltung im Falle einer Person auf dem F\u00f6rderband gew\u00e4hrleisten. Grundlage hierf\u00fcr war die Beweisf\u00fchrung f\u00fcr einen Automobil-Anwendungsfall nach Gauerhof 20181. Die GSN wurde f\u00fcr ihre Eignung im station\u00e4ren Bereich angepasst und um neue Zusammenh\u00e4nge erweitert. Hierf\u00fcr wurde die GSN in drei Kategorien unterteilt: <\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Reduktion von Risiken durch fehlende Spezifikationen<\/li><li>Reduktion von semantischen L\u00fccken<\/li><li>Minimierung von Risiken durch eine deduktive L\u00fccke<\/li><\/ul>\n\n\n\n<p><\/p>\n\n\n\n<p>Der Fokus lag hierbei auf letzterer Kategorie, der Minimierung der deduktiven L\u00fccke, wobei die Extraktion von Methoden und Metriken das Ziel war. Mehrere Subkategorien wurden hierf\u00fcr identifiziert und untersucht:<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>Der Anwendungsfall erreicht die n\u00f6tige Klassifizierungsleistung<\/li><li>Das Modell ist ausreichend robust<\/li><li>Unterschiede in der Trainingsplattform und Zielplattform verletzten keine Sicherheitsanforderungen<\/li><li>Essenzielle Einfl\u00fcsse auf das Modell sind ausreichend verstanden<\/li><\/ul>\n\n\n\n<p><\/p>\n\n\n\n<p>Es wurden unterst\u00fctzende Methoden f\u00fcr eine Argumentationsstruktur untersucht und hinsichtlich ihrer Eignung bewertet. Die identifizierten Methoden sind unter anderem die formale Verifikation mittels mathematischer Methoden und dadurch gewonnenen Garantien sowie Klassifikationsgenauigkeit oder Confusion Matrix (damit einhergehend der Recall und die Precision). Zus\u00e4tzlich wurden verschiedene Methoden des AutoML untersucht, um Over- bzw. Underfitting zu reduzieren. Um Beweise f\u00fcr die Robustheit des Modells zu generieren, wurde die Metrik der Condition Number untersucht sowie Ans\u00e4tze zum \u00dcberpr\u00fcfen der local und global robustness gegen adversarial attacks. <\/p>\n\n\n\n<p>Bayesian Neural Networks bieten zus\u00e4tzlich noch die Metrik der Unsicherheit. Um die Unterschiede in der dritten Subkategorie (siehe L\u00f6sungsideen) zu minimieren, wurden Methoden der domain adaptation sowie domain randomization untersucht. Die essenziellen Einfl\u00fcsse auf das Modell k\u00f6nnen mithilfe von Darstellungstransformierungen untersucht werden, wie z.B. in Entscheidungsb\u00e4umen. Saliency Maps bieten eine \u00dcbersicht zu modellrelevanten Eigenschaften auf Basis der Eingangsdaten und damit weitere Erkenntnisse \u00fcber das Modell. <br>Von den dargestellten Methoden wurde die formale Verifikation als st\u00e4rkster Beweis aufgrund ihrer mathematischen Eindeutigkeit favorisiert und soll weiter untersucht werden.<\/p>\n\n\n\n<p><\/p>\n\n\n\n<h4 class=\"wp-block-heading\">Projektnutzen<\/h4>\n\n\n\n<p>Die Ergebnisse des Projektes erm\u00f6glichen durch Aufzeigen von M\u00f6glichkeiten zur Qualit\u00e4tssicherung einen weiteren Schritt in Richtung der Verwertbarkeit von Neuronalen Netzen in sicherheitskritischen Anwendungen. Die Argumentationsstruktur k\u00f6nnte ein Grundstein f\u00fcr den Einsatz von Methoden der KI im Rahmen von sicherheitskritischen Anwendungen legen, wodurch sowohl neue Anwendungen erschlossen als auch bestehende optimiert werden k\u00f6nnen. Im Sinne einer Argumentationsstruktur kann eine solche Herangehensweise in beliebigen Projekten wiederverwendet werden. Zus\u00e4tzlich bringen die entwickelten Methoden zur Erzeugung von Beweisen \u00fcber Qualit\u00e4tsattribute von Komponenten der KI einen Mehrwert bei der Qualit\u00e4tssicherung von KI-Methoden.<\/p>\n\n\n\n<h4 class=\"wp-block-heading\">Beteiligte Industriepartner<\/h4>\n\n\n\n<ul class=\"wp-block-list\"><li>SICK AG<\/li><\/ul>\n\n\n\n<p><\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>Das Team von Fraunhofer hat im Rahmen des Quick Checks einen ausgezeichneten \u00dcberblick \u00fcber Methoden zur Qualit\u00e4tssicherung von Neuronalen Netzen erarbeitet. Wir hoffen mit ihrer Kompetenz weitere Schritte in Richtung sicherer K\u00fcnstlicher Intelligenz gehen zu k\u00f6nnen.<\/p><cite>best\u00e4tigt Patrick Feth, Testimonial der SICK AG.<\/cite><\/blockquote>\n\n\n\n<p><\/p>\n<\/div>\n\n\n\n<div class=\"wp-block-v4core-inner-blocks MainContent-right\">\n<div class=\"wp-block-v4core-layout undefined alignwide--right\"><div class=\"\"><div class='Sidebar'>\n\n<div class=\"wp-block-v4core-sidebar-item--contact Sidebar-item\">\n<p class=\"Sidebar-item-title h6\">Ihr Kontakt<\/p>\n\n\n\t\t\t<div class=\"Sidebar-item-content Sidebar-item-content--contact\">\r\n\t\t\t                <p>\r\n\t\t\t\t\t                        <span class=\"Sidebar-item-subtitle Sidebar-item-subtitle--contact\">Marcel Albus<\/span><br>\r\n\t\t\t\t\t\t                        <span>Phone +49 711 970-1663<\/span><br>\r\n\t\t\t\t\t\t                        <span><a href=\"mailto:marcel.albus@ipa.fraunhofer.de\">Send email<\/a><\/span><br><br>\r\n\t\t\t\t\t\t                <\/p>\r\n\t\t\t\t\t\t\t<\/div>\r\n\t\t<\/div>\n\n\n\n<div class=\"wp-block-v4core-sidebar-item Sidebar-item\">\n<p class=\"Sidebar-item-title h6\">Weitere Informationen<\/p>\n\n\n\n<div class=\"wp-block-v4core-sidebar-item-content Sidebar-item-content\"><\/div>\n<\/div>\n\n<\/div>\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link has-light-grey-color has-blue-background-color has-text-color has-background\" href=\"https:\/\/www.ki-fortschrittszentrum.de\/content\/dam\/iao\/ki-fortschrittszentrum\/documents\/projekte\/Safety-Assurance-AI-Methods-Steckbrief-QuickCheck.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">Steckbrief des Quick  Checks (PDF)<\/a><\/div>\n<\/div>\n\n\n\n<p><\/p>\n<\/div><\/div>\n<\/div>\n<\/div><\/div>\n\n\n\n\n<div class=\"wp-block-group\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<h2 class=\"wp-block-heading\">Gef\u00f6rdert durch<\/h2>\n\n\n\n<div class=\"wp-block-v4core-logowall LogoWall-wrapper is-style-large\"><div class=\"LogoWall\">\n<div class=\"wp-block-v4core-logowall-item LogoWall-item\">\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1920\" height=\"377\" src=\"https:\/\/s-tec.de\/wp-content\/uploads\/2020\/08\/BW_Ministerium_MWAW.png\" alt=\"BW_Ministerium_MWAW unterst\u00fctzt das Projekt zur Qualit\u00e4tssicherung Neuronaler Netze\" class=\"wp-image-1482\"\/><\/figure>\n<\/div>\n<\/div><\/div>\n<\/div><\/div>\n\n\n\n\n<div class=\"wp-block-group\"><div class=\"wp-block-group__inner-container is-layout-flow wp-block-group-is-layout-flow\">\n<div class=\"wp-block-columns is-layout-flex wp-container-core-columns-is-layout-9d6595d7 wp-block-columns-is-layout-flex\">\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<h2 class=\"wp-block-heading\">Weitere Projekte<\/h2>\n<\/div>\n\n\n\n<div class=\"wp-block-column is-layout-flow wp-block-column-is-layout-flow\">\n<p><\/p>\n<\/div>\n<\/div>\n\n\n\n    \n    \n<div id=\"v4core-post-list--1\" class=\"PostList PostList--projects PostList--slider\">\n\n    \n        <article class=\"PostList-no-results\">\n    <div class=\"PostList-item-link-content\">\n        <p class=\"PostList-item-link-content-title\">\n            <span class=\"PostList-item-link-content-category h6 has-magenta-color\">Keine Ergebnisse gefunden<\/span><br>\n            Versuchen Sie die Filterung anzupassen\n        <\/p>\n    <\/div>\n<\/article>\n\n                <div class=\"swiper-container\">\n            \n            <div class=\"PostList-posts PostList-posts--projects swiper-wrapper\">\n                \n    \n            <\/div>\n\n                    <\/div>\n        \n        <div class=\"PostList-meta\">\n\n                            <div class=\"wp-block-buttons\">\n                    <div class=\"wp-block-button\">\n                        <a class=\"wp-block-button__link has-text-color has-background has-gradient-background-color has-black-color\"\n                           href=\"https:\/\/s-tec.de\/projekte\/\">Alle Projekte<\/a>\n                    <\/div>\n                <\/div>\n            \n                            <div class=\"swiper-buttons\">\n                    <div class=\"swiper-button swiper-button-prev\"><\/div>\n                    <div class=\"swiper-button swiper-button-next\"><\/div>\n                <\/div>\n            \n        <\/div>\n\n        \n<\/div><\/div><\/div>\n\n","protected":false},"excerpt":{"rendered":"<p>Gef\u00f6rdert durch<\/p>\n","protected":false},"featured_media":5629,"template":"","categories":[8],"class_list":["post-2549","projects","type-projects","status-publish","has-post-thumbnail","hentry","category-quick-check"],"acf":[],"_links":{"self":[{"href":"https:\/\/s-tec.de\/en\/wp-json\/wp\/v2\/projects\/2549","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/s-tec.de\/en\/wp-json\/wp\/v2\/projects"}],"about":[{"href":"https:\/\/s-tec.de\/en\/wp-json\/wp\/v2\/types\/projects"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/s-tec.de\/en\/wp-json\/wp\/v2\/media\/5629"}],"wp:attachment":[{"href":"https:\/\/s-tec.de\/en\/wp-json\/wp\/v2\/media?parent=2549"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/s-tec.de\/en\/wp-json\/wp\/v2\/categories?post=2549"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}