KI-Selbstkorrektur

Der Einsatz generativer KI ist mittlerweile zur Voraussetzung für den Erfolg geworden. Das gilt insbesondere, wenn Mitbewerber sie bereits für Workflows, Übersetzungen oder Contenterstellung und -optimierung einsetzen. Ein bestimmendes Element ist dabei die Selbstkorrektur der generativen KI. Die Ausgaben großer Sprachmodelle (Large Language Models, LLM) können aufgrund verschiedener Faktoren Ungenauigkeiten enthalten. Ursache sind die Daten, mit denen LLM trainiert werden. Diese Daten können problematische oder falsche Informationen enthalten. Zudem kann es bei KI-Tools zu sogenannten „Halluzinationen“ kommen. Um diese und ähnliche Probleme in KI-Ausgaben zu beseitigen, können Maßnahmen zur Selbstkorrektur in den ursprünglichen Prompts implementiert werden. (Gelegentlich wird auch von „Selbstkritik“ oder „Selbstoptimierung“ gesprochen.) In mehreren Studien wurden Methoden getestet, mit denen LLM veranlasst werden, ihre Ausgaben zu überprüfen und vor der endgültigen Ausgabe zu optimieren. In unserem Blogbeitrag lernen Sie einige der Techniken kennen, mit denen Selbstkorrekturfunktionen in KI-Lösungen implementiert werden (durch die Benutzer oder durch den jeweiligen Anbieter der KI-Lösung). Außerdem beschreiben wir die Beschränkungen der KI-Selbstkorrektur.

Gebräuchliche Taktiken für die KI-Selbstkorrektur

Es gibt derzeit vier Verfahren zur Implementierung der KI-Selbstkorrektur:

1. Prompts mit Fokus auf Genauigkeit: Gelegentlich erweist sich das Einfügen eines zu besonderer Genauigkeit auffordernden Prompts in eine Promptfolge als äußerst effektiv. Ein populäres Beispiel wurde auf X gepostet:

2. KI-Tool als Experte: Ungenauigkeiten lässt sich auch vorbeugen, indem das KI-Tool als Experte definiert wird, dem weniger Fehler unterlaufen. Viele Benutzer und KI-Dienstleister, darunter auch eine Gruppe von GitHub-Entwicklern, haben Prompts entwickelt, die KI-Tools anweisen, sich wie Experten zu verhalten. Als beste Experten-Personas erweisen sich dabei diejenigen, die Best Practices möglichst exakt befolgen – sofern die betreffenden Best Practices weitgehend anerkannt sind. Bei zu allgemein gehaltenen Befehlen kann es schnell zu Halluzinationen kommen. So reicht beispielsweise die Aussage „You’re an excellent career counselor“ nicht aus. Die Prompts müssen stattdessen die Best Practices benennen, die Karriereberater im Allgemeinen umsetzen. Eine weitere Best Practice ist das Testen einer Promptfolge anhand einer Aufgabe, zu der Sie die Antwort kennen. So lässt sich einfacher feststellen, in welchen Belangen die Experten-Persona optimiert werden muss. In Anhängigkeit von der Aufgabe kann es auch sinnvoll sein, Experten-Persona-Prompts in Iterationen zu optimieren. Die GitHub-Entwickler haben 15 Promptfolgen erstellt, die das KI-Tool zu einem Experten des betreffenden Fachgebiets machen. Natürlich haben nicht nur sie sich dieses Themas angenommen. Ihre Liste ist jedoch äußerst umfassend.

3. „Pre-hoc“- oder „Post-hoc“-Prompts: Es ist möglich, Prompts hinzuzufügen, die den Stil der KI-Ausgabe ändern. Je nach Situation muss der Stil gelegentlich formeller oder informeller sein oder beispielsweise eine akademische Zielgruppe angesprochen werden. Nach dem Generieren der Ausgabe hinzugefügte Prompts werden als „Post-hoc-Prompts“ bezeichnet. Laut einem kürzlichen Forschungsprojekt von Google DeepMind werden die besten Ergebnisse erzielt, indem Pre-hoc- und Post-hoc-Prompts gleichartiger Stärke verwendet werden.

4. Prompts zum Vermeiden von Voreingenommenheit: Wenn LLM mit ungeeigneten Daten trainiert werden, kann ihre Ausgabe die Vorurteile der Millionen von Menschen widerspiegeln, die hasserfüllte Aussagen im Internet verbreiten. Laut einer aktuellen Studie des Anthropic AI Lab können LLM mittels RLHF (Reinforcement Learning from Human Feedback) so trainiert werden, dass die Ausgaben Rassismus, Altersdiskriminierung, Frauenfeindlichkeit usw. nicht oder nur in deutlich reduziertem Umfang enthalten. Fügen Sie also geeignete Anweisungen hinzu, damit die von Ihrem Team festgelegten ethischen Grundsätze beachtet werden. Dazu gehören auch Anweisungen, die verhindern, dass das LLM auf problematische Stereotype oder Ideologien zurückgreift. In einigen Fällen haben KI-Tools „positiv diskriminierende“ Ausgaben generiert und die angestrebten Ziele überschritten.

Beschränkungen der KI-Selbstkorrektur

Auch wenn die Funktionen der KI-Selbstkorrektur sehr nützlich sein können, hat sich in Studien gezeigt, dass diese Funktionen Beschränkungen unterliegen. In der bereits erwähnten Google DeepMind-Studie wurde festgestellt, dass LLM mit Selbstkorrektur gelegentlich schlechtere Ergebnisse liefern. Auch wenn die Selbstkorrektur die Ausgaben nicht verschlechtert, arbeitet sie nicht für jede Promptfolge gleichmäßig. Dies gilt insbesondere, wenn keine externen Quellen (Taschenrechner, Code-Executor, Wissensdatenbank usw.) zum Einsatz kommen. Um optimale Ergebnisse zu erzielen, müssen die Selbstkorrekturfunktionen auf eine kuratierte Datenmenge mit grundlegenden Wahrheiten zurückgreifen können. Anhand dieses Referenzmaterials kann das KI-Tool entscheiden, wann die Schlussfolgerung zu beenden ist, um eine Überkorrektur der Ausgabe zu vermeiden. Mit der Studie wurde aber auch festgestellt, dass einige Aufgaben zu komplex sind, um sie auszuführen, während das KI-Tool auf solches Referenzmaterial zurückgreift.

Eine weitere Erkenntnis bestand darin, dass die KI-Selbstkorrektur nur eingeschränkt funktioniert, wenn mehrere LLM-Agents genutzt werden. Dazu kommt es, wenn das LLM aufgefordert wird, mehrere Tasks mit unterschiedlichen Agents (Instanzen) auszuführen.

Das Problem tritt auf, weil die verschiedenen Agents in einer Art Abstimmung per Mehrheit entscheiden, welche Antwort richtig ist. Das Ergebnis ist eine Art Echokammer (Selbstkonsistenz) anstelle wirklicher Genauigkeit.

Vorteil der menschlichen Interaktion

Die Beschränkungen der KI-Selbstkorrektur machen deutlich, wie wichtig die menschliche Interaktion im Prozess ist. KI-Tools können die Übersetzungseffizienz steigern, kommen an vielen Punkten aber nicht ohne menschliche Eingriffe aus. So muss eine optimale Promptfolge beispielsweise von Menschen geprüft werden oder sie müssen einen Probelauf durchführen oder die abschließende Ausgabe korrigieren. Die Selbstkorrektur kann den Prozess zwar unterstützen, ersetzt aber nicht die menschliche Interaktion.

Gerade deshalb empfiehlt sich die Zusammenarbeit mit KI-Experten wie denen von Lionbridge, die beim Schließen der KI-Vertrauenslücke helfen können. Aufgaben der Experten:

• Risiko minimieren, dass Content und Ausgaben unzuverlässig oder von unzureichender Qualität sind

• Daten vor Cyberangriffen und anderen Sicherheitsrisiken schützen

• Kreativität beim Erstellen ansprechenden Contents und ansprechender Ausgaben

• Genauigkeit prüfen und Korrekturen vornehmen, insbesondere bei komplexen Materialien, die spezielle Ausbildung oder Expertise erfordern

• Niemals unnötige Technologie, Lösungen oder Abonnements verkaufen

• Prozess transparent begleiten und jederzeit Input, Feedback und spezifische Anpassungen ermöglichen

Nehmen Sie Kontakt mit uns auf

Möchten Sie wissen, wie Sie KI einsetzen können, um Contenterstellung, Contentoptimierung für Websites oder andere Sprachservices zu automatisieren? Unser engagiertes Team von KI-Experten hilft Ihnen gerne weiter. Kontaktieren Sie uns einfach.