Der unverzichtbare Leitfaden für erklärbare KI (XAI)

Erklärbare KI (XAI)

ist künstliche Intelligenz (KI), die jedem, der nicht aus Technik oder Data Science kommt, zu verstehen hilft, wie Machine Learning (ML)-Modelle zu einer Entscheidung gelangen.

Wenn Sie beispielsweise ein ML-Modell anhand von Finanzdaten trainiert haben, um Ihnen dabei zu helfen, einen Kredit für einen Antragsteller zu genehmigen oder abzulehnen, würde XAI Ihnen die Antwort geben und Ihnen zusätzlich noch sagen, wie und warum es zu der Antwort gelangt ist.

Darin unterscheidet sie sich von den in der Welt des ML üblicheren Black Box-Modellen, in der einige Modelle besser interpretierbar sind als andere. So können Entscheidungsbäume beispielsweise besser interpretierbare Ergebnisse liefern, während neuronale Netze etwas undurchsichtiger sind. Aus diesem Grund gibt es oft einen Kompromiss zwischen Genauigkeit und Erklärbarkeit.

Darüber hinaus wissen selbst die Personen, die Black Box-Modelle entwerfen und bereitstellen, nicht, welche Informationen das Modell verwendet hat oder wie es die Informationen verwendet hat, um zu einem Ergebnis zu gelangen.

Im vorherigen Beispiel des Kreditantrags würde ein Black Box-Modell nur eine Bewertung liefern, die Sie als Grundlage für Ihre Entscheidung zur Genehmigung oder Ablehnung des Kredits verwenden könnten.

Für Unternehmen und Führungskräfte, die Transparenz, Genauigkeit und unvoreingenommene Entscheidungen sicherstellen müssen, sind Black Box-Ergebnisse gefährlich. Und viele verwenden Proxy-Modelle, um zu erklären, wie sie funktionieren.

Die Ablehnung eines Kredits, obwohl der Antragsteller eigentlich über die für die Genehmigung notwendige Kreditwürdigkeit und Zahlungsfähigkeit verfügt, könnte zu Diskriminierungsvorwürfen führen. Für jedes Unternehmen können Black Box-Modelle und schlechte Entscheidungen, die auf ihrer Grundlage getroffen werden, auch dazu führen, dass sie Kunden aufgrund von Vertrauensverlust oder verpassten Chancen verlieren.

Weitere Einsatzmöglichkeiten für XAI sind:

• Finanzinstitute, die mithilfe von ML-Modellen Kredite genehmigen oder ablehnen
• Versicherungsunternehmen, die mithilfe von ML-Modellen Beitragssätze festlegen
• Schadensregulierungen unter Verwendung von ML-Modellen zur Berechnung von Auszahlungsbeträgen
• Bildungseinrichtungen, die mithilfe von ML-Modellen Bewerber annehmen oder ablehnen
• Personalabteilungen, die mithilfe von ML-Modellen Bewerber zu filtern
• Kostenträger und Anbieter im Gesundheitswesen, die mithilfe von ML-Modellen Behandlungsoptionen und Anspruchsentscheidungen erläutern

Die Bedeutung der KI-Erklärbarkeit

XAI ist aus zwei wesentlichen Gründen wichtig: Transparenz und Vertrauen, intern ebenso wie extern.

Externe Transparenz und Vertrauen

Die Bedeutung der KI-Erklärbarkeit geht über die Vermeidung falscher Entscheidungen hinaus. Alles in allem vertrauen Menschen der KI immer noch nicht – zumindest dann, wenn sie einen Menschen ersetzen soll.

Die Harvard Business Review (HBR) hat Blindstudien mit von KI bzw. echten Personen verfassten Beschreibungen verschiedener Gegenstände wie Mänteln, Parfüms, Häuser oder Kuchen durchgeführt.

Und Menschen bevorzugten öfter die KI-Beschreibungen, zumindest wenn sie ihre Entscheidungen auf „utilitären und funktionalen Merkmalen“ gründeten.

Noch wichtiger war jedoch, dass HBR zu dem Ergebnis kam, dass „Menschen die Empfehlungen von KI sehr begrüßen, solange KI mit Menschen zusammenarbeitet“ und sie nicht ersetzt.

XAI ist gut mit erweiterten oder unterstützten KI-Modellen und Erklärungen kombinierbar. XAI hilft Menschen mit beliebigem Hintergrund zu erklären, warum bestimmte Daten verwendet und wie Antworten abgeleitet werden.

Nehmen wir das Beispiel einer Person, die nach Anlagenberatung für den Ruhestand sucht. Der Anleger kann Ihnen sein Einkommen und seine Ziele nennen und sich dann von Ihnen beraten lassen. Sie können seine Informationen durch ein Machine Learning-Modell laufen lassen und darauf basierend Empfehlungen geben.

In Zusammenarbeit mit KI können Sie erklären, warum eine bestimmte Option statt einer anderen gewählt wurde und welche Informationen für die endgültigen Ergebnisse verwendet wurden.

Es gibt noch viele weitere Einsatzmöglichkeiten.

Das ist der kundenorientierte Teil der Gleichung. Der nächste Teil ist der interne Teil der Gleichung.

Interne Transparenz und Vertrauen

Selbst bei aktuellen ML-Modellen besteht immer die Möglichkeit, dass sich Voreingenommenheit und Abwertung einschleichen.

Daten sind oft voreingenommen, ob absichtlich oder nicht. Alter, Ethnie, Geschlecht, Krankengeschichte, finanzielle Situation, Einkommen, Standort und mehr können zu Voreingenommenheit führen. Tatsächlich können alle Daten zu Voreingenommenheit führen. Und manche davon sind geschützte Eigenschaften, die in Modellen überhaupt nicht verwendet werden dürfen. Es besteht zudem immer das Risiko, dass dieser Input Einfluss darauf hat, wie KI lernt.

Werfen Sie all dies in eine Black Box, könnte ein ML-Modell Ergebnisse liefern, die eine Gruppe von Personen gegenüber einer anderen Gruppe bevorzugen.

Darüber hinaus ist das Training von KI nie ein sauberer Prozess. Und Training ist auch nie dasselbe wie eine reale Leistung.

Ein Modell, das anhand eines Datasets trainiert wurde, kann mit diesen Daten wunderbare Ergebnisse bereitstellen. Doch sobald reale Daten in das Modell eingegeben werden, können sie sehr unterschiedliche Ergebnisse liefern.

Einfach ausgedrückt, könnte ein Analyst oder Data Scientist ein Black Box-ML-Modell erstellen, das während des Trainings perfekt und unvoreingenommen funktioniert, aber dann nach der Bereitstellung verzerrte oder schlechte Ergebnisse liefert.

Und manchmal müssen die Modelle an Änderungen von Daten oder Vorschriften angepasst werden.

Vom 18. November 2021 bis zum 14. Dezember 2021 gab es laut eines Tracking Reports von Brookings 43 Vorschriften, die in Kraft waren, sich im Gesetzgebungsverfahren befanden oder außer Kraft gesetzt waren und Finanzen, Fertigung, Gesundheitswesen und andere Bereiche betrafen.

Sicherzustellen, dass Black Box-Modelle aktualisiert wurden, um neue oder überarbeitete Vorschriften zu berücksichtigen, und dies zu erklären, wäre problematisch, wenn nicht gar unmöglich.

XAI erleichtert Entwicklern die Aktualisierung und Verbesserung von Modellen und die Messung ihrer Effektivität – und das alles unter Einhaltung neuer Vorschriften. Natürlich gibt es den zusätzlichen Vorteil eines einfach zu prüfenden Datenpfads.

Interpretierbare KI vs. erklärbare KI

Während Analysten und Data Scientists ML-Modelle erstellen, sind es oft diejenigen Personen in Führungspositionen und anderen Führungsrollen, die die Ergebnisse verstehen müssen.

Dies ist der Hauptgrund für die Bedeutung von XAI und einer der größten Unterschiede zwischen XAI und interpretierbarer KI (IA).

XAI ist eine Untermenge von IA, die darauf abzielt, ML-Modelle für Menschen ohne Data Science-Hintergrund verständlicher zu machen. IA ist ein Teilbereich von Machine Learning, der sich auf die Transparenz und Interpretierbarkeit von Modellen konzentriert.

IA-Methoden steuern die Entwicklung und Bereitstellung von XAI durch vier zentrale Fragen:

1. Wem müssen die Ergebnisse möglicherweise erklärt werden?
2. Warum müssten die Ergebnisse erklärt werden und aus welchen Gründen?
3. Welche verschiedenen Möglichkeiten gibt es, die Ergebnisse zu erklären?
4. Was müsste vor, während und nach der Erstellung des Modells erklärt werden?

Im Beispiel der oben genannten Finanzempfehlung könnte ein Unternehmen ein XAI-Modell entwickeln und sich dabei von den folgenden Fragen leiten lassen:

Wem müssen die Ergebnisse möglicherweise erklärt werden? 

• Kunden
• Managern/Führungskraft
• Aufsichtsbehörde

Warum müssten die Ergebnisse erklärt werden und aus welchen Gründen?

• Kunden verstehen helfen, warum die empfohlenen Anlageoptionen für sie am sinnvollsten sind
• Entscheidern verstehen helfen, warum Sie bestimmte Anlagepläne empfehlen
• Vorschriften einhalten und Audits beschleunigen

Welche verschiedenen Möglichkeiten gibt es, die Ergebnisse zu erklären?

• Empfehlungen auf der Grundlage finanzieller und/oder emotionaler Argumentation erläutern
• Den kundenorientierten und geschäftsbasierten Wert von Empfehlungen aufzeigen
• Zeigen, wie Entscheidungen allen Vorschriften entsprechen und wie das Modell dies sicherstellt

Was müsste vor, während und nach der Erstellung des Modells erklärt werden?

• Warum bestimmte personenbezogene Daten erfasst werden, wofür sie verwendet werden und wie sie sich auf die Empfehlungen auswirken
• Warum es so wichtig ist, ein Modell zu erstellen, und was geändert oder modifiziert werden muss, um vor Kunden und Führungskräften Entscheidungen zu rechtfertigen
• Wie das Modell aktuelle Vorschriften berücksichtigt und wie es an neue und bevorstehende Vorschriften angepasst werden kann

Beispiele für erklärbare KI

Einer der häufigsten Verwendungszwecke für XAI ist wohl im regulatorischen Kontext zu finden. Risikobewertungen, Kreditwürdigkeitsprüfungen und Anspruchsentscheidungen erfordern oft eine tiefergehende Hinterfragung.

XAI kann jedoch in diversen Branchen und Abteilungen hilfreich sein, selbst wenn keine Vorschriften involviert sind. Der erklärbare Aspekt von XAI kann die Entscheidungsfindung in diversen Branchen und Abteilungen verbessern. Dies umfasst folgende Aspekte:

• Sicherstellen, dass die Sentiment-Analyse den Kontext und die Bedeutung der verwendeten Wörter richtig versteht
• Ändern von Bedarfsprognosen, wenn neue Daten mit Trainingsdaten in Konflikt stehen und die Modellperformance beeinträchtigen könnten
• Verbessern der Genauigkeit medizinischer Diagnosen im Gesundheitswesen und Erläuterung der Diagnosestellung für Patienten
• Treffen von Echtzeitentscheidungen über medizinische Notfallbehandlung und Triage
• Erläutern der endgültigen Einstellungsentscheidungen von Personalabteilungen
• Bereitstellen von Marketingempfehlungen für Kunden und Verbesserung der Relevanz von Messaging und Angeboten
• Empfehlen der nächsten Maßnahmen für Vertriebsmitarbeiter und Berechnen der Verkaufsprovision
• Erläutern der Gründe für Preisoptimierungsentscheidungen
• Anpassen von Kundenservice-Chatbots auf der Grundlage von Feedback in Übereinstimmung mit der Sentiment-Analyse

Es gibt viele weitere Anwendungsfälle für XAI, aber die Quintessenz ist, dass XAI Ihnen dabei hilft, die komplexen Ergebnisse von Machine Learning-Modellen zu verstehen. Nicht jeder muss verstehen, wie ein Machine Learning-Modell funktioniert. Aber jeder muss den Ergebnissen vertrauen können. Und XAI hilft uns dabei.

Auswahl der richtigen Plattform für Modellerklärbarkeit

Die Auswahl der richtigen ML-Plattform für Sie hängt von einer Vielzahl von Faktoren ab, aber die vier wichtigsten Faktoren sind:

• Wer muss sie zum Erstellen von Modellen verwenden?
• Wer muss sie verwenden, um die Ergebnisse zu erklären?
• Welche Art von Daten verwenden Sie?
• Welche Art von Antworten benötigen Sie?

Wer muss sie für die Entwicklung und Bereitstellung von Modellen verwenden?

Möglicherweise haben Sie kein Data Science-Team. Vielleicht nicht mal einen Data Scientist.

Fast 80 % der Unternehmen haben keine Data Scientists im Team, sodass die Person, die Ihre Plattform nutzt, höchstwahrscheinlich ein:e Analyst:in oder Wissensarbeiter:in ist.

Sie benötigen eine Plattform, mit der fast jeder Modelle erstellen kann – und zwar nicht nur für Ihr aktuelles Team, sondern auch für zukünftige Beschäftigte.

Cloud-basierte und On-Premise-Plattformen mit Drag & Drop-Funktionen (oder No-Code, Low-Code) bieten die kürzeste Lernkurve für das Verständnis und die Implementierung von Data Science.

Plattformen mit Automated ML (AutoML) verkürzen die Lernkurve weiter, indem sie angeleitete Pfade und Empfehlungen für die Modellverwendung bereitstellen. Dadurch entfällt die anfängliche Notwendigkeit zu verstehen, welche Modelle und mathematischen Prozesse zuerst verwendet werden sollen.

Wenn Sie über ein dediziertes Data Scientist-Team verfügen, können Sie AutoML und No-Code-/Low-Code-Plattformen zur Beschleunigung der Produktion verwenden. Doch Ihr Team wird wahrscheinlich Python, R oder eine andere Sprache zusammen damit verwenden wollen.

Wer muss sie verwenden, um die Ergebnisse zu erklären?

Ähnlich wie bei Ihrem Analytics-Team wird es auch bei Ihren Führungs- und Managementteams ein breites Spektrum an Erfahrungen und Kenntnissen geben.

Ihre Plattform muss sowohl von extern neu eingestellte Manager als auch intern beförderte Führungskräfte sowie Top-Führungskräfte berücksichtigen, die möglicherweise nicht regelmäßig mit XAI interagieren.

ML-Modelle, die klare Datenverlaufswege, Hinweise zur Erläuterung von Datenpunkten und automatisierte Erklärungen bieten, verkürzen die Lernkurve für Sie und Ihr Team.

Darüber hinaus helfen Plattformen, die planmäßige Ergebnisse liefern und Modelle in gemeinsam nutzbare analytische Anwendungen konvertieren können, Ihrem Unternehmen, Daten zu teilen und die Transparenz zu erhöhen.

Welche Art von Daten verwenden Sie?

Beraten Sie sich mit Ihrem Team. Fragen Sie alle, welche Arten von Datasets sie verwenden und wie sie sie aktuell in die Analyse einbeziehen.

Einer der größten Nachteile bei der Entwicklung von ML-Modellen ist der hohe Arbeitsaufwand, der während der Anfangsphase in die Vorbereitung investiert werden muss.

AutoML-Plattformen, die auch Analysen automatisieren, wie die Vorbereitung und Bereinigung von Daten, können den Bereitstellungsprozess erheblich beschleunigen.

Prüfen Sie, wie eine Plattform mit verschiedenen Datasets und Datenquellen umgeht. Kann sie all diese Daten verarbeiten oder ist für die Daten zusätzlicher Aufwand erforderlich, bevor sie verarbeitet werden können? Wie einfach ist es, den Prozess zu wiederholen, wenn Sie ihn für Prognosen und andere Modelle verwenden, die von sich ändernden Daten abhängig sind?

Welche Art von Antworten benötigen Sie?

Manche Leute können eine Woche, einen Monat oder sogar ein Quartal auf einen Bericht warten. Andere brauchen topaktuelle Ergebnisse.

Je schneller Sie Erkenntnisse benötigen, desto mehr benötigen Sie eine Plattform, die sich schnell an neue Daten anpassen und diese einbeziehen kann. Dazu gehören die zuvor erwähnten Prozesse wie die Vorbereitung und Bereinigung.

Alle XAI-Modelle sollten Ihnen helfen, unterschiedlichste Fragen für Ihre Kunden, Ihre Kollegen und sich selbst zu beantworten. Wie bereits erwähnt, gilt: Je kürzer die Lernkurve für Sie ist, desto schneller können Sie anderen Antworten geben.

Wählen Sie eine ML-Plattform, mit der Sie sich wohl fühlen.