Was passiert, wenn die KI im Betrieb eine falsche Antwort gibt?

Dann sieht man es im besten Fall direkt an der Fundstelle. Eine KI-Wissensdatenbank antwortet aus den Unterlagen Ihres Betriebs und nennt unter jeder Antwort das Dokument und die Stelle, aus der sie stammt. Wer die Antwort prüfen will, öffnet das Original. Ganz verhindern lassen sich Fehler bei keiner KI, aber man kann sie selten machen und leicht erkennbar halten.

Warum kann eine KI aus eigenen Unterlagen überhaupt danebenliegen?

Eine Wissensdatenbank arbeitet in zwei Schritten. Zuerst sucht sie in Ihren Unterlagen die Stellen, die zur Frage passen. Dann formuliert ein Sprachmodell, also eine KI, die Texte versteht und schreibt, aus diesen Stellen eine Antwort. In beiden Schritten kann etwas schiefgehen:

• Falsche Stelle gefunden: Die Suche erwischt ein ähnliches, aber nicht das richtige Dokument, etwa die Montageanleitung der Vorgängerversion eines Fensters.
• Stelle falsch verstanden: Eine Tabelle in einem Datenblatt wird falsch zugeordnet, und die Antwort nennt den Wert der Nachbarspalte.
• Schlechte Vorlage: Ein schief eingescanntes Protokoll wurde bei der Texterkennung fehlerhaft gelesen, aus einer 8 wurde eine 3.

Woher kommen die meisten Fehler?

Oft weniger aus der KI als aus der Ablage. Typische Ursachen im Handwerksbetrieb:

• Von einer Montageanleitung liegen drei Versionen im Ordner, und niemand weiß, welche gilt.
• Ein Angebot wurde mehrmals überarbeitet, alle Fassungen liegen nebeneinander.
• Absprachen stehen in einer Mail, die später per Telefon wieder geändert wurde.
• Handschriftliche Notizen wurden eingescannt, sind aber kaum lesbar.

Eine Wissensdatenbank kann nicht wissen, welche Version die gültige ist, wenn das nirgends vermerkt ist. Ein Mensch, der neu im Betrieb ist, wüsste es übrigens auch nicht.

Wie erkennt man eine falsche Antwort?

An drei Dingen:

1. Die Fundstelle passt nicht zur Frage. Gefragt war nach der Haustür bei Kunde Maier, verwiesen wird auf ein Dokument eines anderen Kunden.
2. Das Dokument ist alt. Datum oder Version im Dateinamen zeigen, dass es eine neuere Fassung geben müsste.
3. Die Antwort klingt anders als erwartet. Ein Bauchgefühl ist kein Beweis, aber ein guter Grund, das Original zu öffnen.

Ein Beispiel zur Veranschaulichung: Ein Spengler fragt nach der Mindestüberdeckung für ein bestimmtes Dachblech. Die Antwort nennt einen Wert und verweist auf ein Datenblatt. Beim Öffnen zeigt sich, dass es das Datenblatt eines anderen Profils desselben Herstellers ist. Der Spengler sucht im richtigen Dokument nach und gibt dem Büro Bescheid, damit die Ablage bereinigt wird.

Wie schützt sich ein Betrieb davor?

• Ablage aufräumen, bevor sie eingelesen wird: Alte Versionen in einen Archivordner verschieben oder klar kennzeichnen.
• Fundstelle ernst nehmen: Bei Maßen, Drehmomenten, Sicherheitsangaben und Normen immer das Original ansehen.
• Fehler melden: Eine falsche Antwort ist ein Hinweis, wo die Ablage nachgebessert werden sollte.
• Klare Grenzen ziehen: Bei Statik, Brandschutz und Elektrosicherheit ersetzt die Wissensdatenbank nicht die Prüfung durch die Fachkraft.

Und wie wird geprüft, ob sie gut genug ist?

Vor der Einrichtung schreiben Sie 20 Fragen auf, die im Betrieb tatsächlich gestellt werden, samt der Unterlagen, in denen die Antworten stehen. Bei der Abnahme gehen wir diese Fragen gemeinsam durch. Sie sind der Maßstab dafür, ob die Wissensdatenbank für Ihren Alltag passt.

Wie die Wissensdatenbank aufgebaut ist und wo die Daten liegen, steht auf der Seite KI-Wissensdatenbank.