LLMs, ChatGPT, Chatbots & Voicebots– alles, was Sie wissen müssen

Chat- und Voicebots erfreuen sich dank ChatGPT großer Beliebtheit. Schließlich zeigt ChatGPT, was Bots heute alles leisten können. Doch eignet sich der Einsatz von ChatGPT bereits für den Kundenservice? Wir klären auf, ob und wie Sie ChatGPT im Kundenservice nutzen können. Zunächst erläutern wir wichtige Begriffe wie generative KI, Large Language Models (LLMs) und ChatGPT.

Was ist generative KI?

Spätestens seit ChatGPT ist ein Begriff in aller Munde: Generative KI. Worin unterscheidet sich diese Technologie von den Large Language Models - oder handelt es sich gar um das Gleiche?

Generative KI ist ein weit gefasster Begriff, der für jedes KI-System verwendet werden kann, dessen Hauptfunktion die Erstellung von Inhalten ist. Davon zu unterscheiden sind KI-Systeme, die andere Funktionen übernehmen, wie z.B. die Klassifikation von Daten (z.B. Zuordnung von E-Mails), das Clustern von Daten oder die Auswahl von Aktionen (z.B. Steuerung selbstfahrender Autos).

Einfach gesagt ist generative KI ein Algorithmus, der neue Inhalte anhand von gelernten Mustern aus vorhandenen Inhalten generiert. Dazu muss er mit großen Datenmengen trainiert werden mit teils mehreren hundert Milliarden Parametern.

Beispiele für generative KI-Systeme sind Bildgeneratoren (wie Midjourney oder Stable Diffusion, DALL-E), große Sprachmodelle (GPT-4 von OpenAI, Googles PaLM, Meta’s LLaMA oder Claude von Anthropic), Werkzeuge zur Codegenerierung (wie Copilot von OpenAI oder Alphacode) oder Werkzeuge zur Audiogenerierung (wie VALL-E von Microsoft oder RESEMBLE.AI).

Beispiele für generative KI-Systeme sind Bildgeneratoren (wie z.B. Midjourney oder Stable Diffusion, DALL-E), große Sprachmodelle (z.B. GPT-4 von OpenAI, Googles PaLM, Meta’s LLaMA oder Claude von Anthro (1)

Was sind Large Language Models?

Wenn wir Chatbots und Voicebots betrachten, spielt Sprache natürlich eine wichtige Rolle. Um Sprache mit KI zu nutzen, werden Sprachmodelle benötigt. Large Language Models sind, wie der Name sagt, Sprachmodelle. Sie basieren auf maschinellem Lernen. Sie können natürliche Sprache verarbeiten. Ähnlich wie bei der generativen KI erzeugen diese Modelle Inhalte aus Daten, mit denen sie zuvor trainiert wurden. In diesem Fall sind es Texte, die zum Kontext passen. Der Begriff „Large“ ist dabei ein Hinweis auf die große Anzahl von Parametern, mit denen sie trainiert werden.

Die Large Language Models arbeiten auf der Basis von künstlichen neuronalen Netzen, die auf der Transformer-Architektur basieren. Die Transformer-Architektur ist in der Lage, Beziehungen zwischen Wörtern und Sätzen herzustellen und daraus neue Texte zu generieren, und zwar mit Hilfe eines neuronalen Netzes. Large Language Models verstehen, verarbeiten und generieren natürliche Sprache und sind eine Form der generativen KI für textbasierte Inhalte (also nicht Bilder oder Audio).

LLMs

Nachdem wir nun wissen, was Large Language Models sind, können wir uns GPT zuwenden.

Was ist GPT?

GPT steht für Generative Pre-trained Transformer und ist ein von OpenAI entwickeltes Large Language Modell. Die Architektur des Transformers ist in der Lage, mit Hilfe eines neuronalen Netzes komplexe Beziehungen herzustellen, wenn aus Wörtern und Sätzen neuer Text erzeugt wird.

Am 11. Juni 2018 veröffentlichte OpenAI-das Originalpapier, in dem die ersten generativen pretrained Transformer (GPT) vorgestellt wurden. Die Technologie wurde von OpenAI seitdem ständig weiterentwickelt und mit immer mehr Parametern trainiert. Laut PCMag verfügte GPT-1 über 117 Millionen Parameter, GPT-2 über 1,5 Milliaren und GPT-3 über 175 Milliarden Parameter.

Ist ChatGPT das gleiche wie GPT?

ChatGPT basiert auf GPT, ist aber nicht mit GPT identisch, auch wenn die beiden Begriffe oft als Synonyme verwendet werden. GPT gibt es bereits seit 2018, ChatGPT wurde erst am 30. November 2022 von OpenAI veröffentlicht. Der KI-basierte Chatbot hatte im Januar 2023 bereits über 100 Millionen Nutzer und ist damit die bisher am schnellsten wachsende Anwendung (Quelle: Wikipedia). Wichtig ist hier der Begriff „Anwendung“: Denn neu ist nicht die Basistechnologie GPT, sondern die Chat-Applikation, die es den Nutzern ermöglicht, GPT einfach im Chat zu nutzen. Es handelt sich also um einen Chatbot, der das Large Language Model GPT verwendet.

Kann ich ChatGPT im Kundenservice nutzen?

Wer ChatGPT schon einmal ausprobiert hat, ist mit Sicherheit begeistert: ChatGPT weiß sehr viel und kann auch komplexe Fragen in wenigen Sekunden beantworten. Dennoch ist ChatGPT in dieser Form (noch) nicht für jeden Einsatz im Kundenservice geeignet, da es Einschränkungen gibt, die im Unternehmenseinsatz kritisch sind:

Datenschutz und Urheberrecht: ChatGPT steht aktuell im Kreuzfeuer der Datenschützer. In Italien wurde das Tool zwischenzeitlich verboten, denn es wirft problematische Datenschutzfragen bei der Nutzung und Verarbeitung personenbezogener Daten auf. Bedenklich ist, dass beim ursprünglichen Lernen der KI personenbezogene Daten nicht ausgeklammert wurden. Zudem können bei der Nutzung des Tools personenbezogene Daten von Nutzern eingegeben werden (etwa zur Suche von Ergebnissen). Hier kann nicht sichergestellt werden, dass datenschutzrechtliche Vorgaben erfüllt werden. Daten von ChatGPT werden in den USA verarbeitet, was in Hinblick auf DSGVO-relevante Bereiche problematisch sein könnte. Besonders im Umgang von sensiblen Kundendaten muss hier zunächst Rechtssicherheit bestehen, ehe man das Tool im Unternehmen einsetzen kann. Alternativ können Modelle aber auch individuell in Rechenzentren in Deutschland gehostet werden.
Auch nicht sicher ist, ob die Veröffentlichung generierter Inhalte zu Verstößen gegen das Urheberrecht führt, da die KI mit Daten aus verschiedenen Quellen, unter anderem aus Büchern, trainiert wurde.
Datenaktualität: GPT4 wurde auf Grundlage von Daten bis 2021 trainiert. Auf aktuelles Wissen, das zeitlich nach diesen Trainingsdaten entstand, kann ChatGPT nicht zugreifen. Googles Sprachmodell LaMDA hingegen bezieht Informationen aus dem Internet und kann aktuelle Fragen beantworten, kann also auch Fragen zu Themen beantworten, die erst vor kurzer Zeit geschehen sind.
Domänenwissen: Jedes Unternehmen verfügt über spezifisches Wissen, das mit hoher Wahrscheinlichkeit nicht in den Trainingsdaten vorhanden ist. ChatGPT weiß daher nichts über unternehmensinterne Prozesse, Dienstanweisungen oder Dienstleistungen. Dieses Wissen müsste zur Nutzung aufbereitet und dem Large Language Model zur Verfügung gestellt werden. Dazu gibt es Wissensmanagementsysteme wie z.B. die V-PortalTM-Plattform von Creative Virutal. V-Portal ist eine Plattform, auf der Sie Antworten für alle Kanäle, wie Web, Sprache, soziale Medien und Agentenunterstützung, verwalten sowie Sprachfunktionen aktivieren und personalisierte Informationen einfügen können. Die Plattform unterstützt LLMs, einschließlich der nativen Unterstützung für GPT, die es Unternehmen ermöglicht, eine größere Personalisierung zu liefern.
Halluzination: ChatGPT gibt Antworten aus, bei denen man nicht zu 100% sicher sein darf, dass diese stimmen. Das liegt an der Natur von Sprachmodellen. „Diese sind darauf trainiert, das nächste Wort vorherzusagen", sagt Yilun Du, Forscher am MIT, der zuvor Forschungsstipendiat bei OpenAI war. "Sie sind nicht darauf trainiert, Menschen zu sagen, dass sie nicht wissen, was sie tun. Das Ergebnis sind Bots, die sich wie altkluge Menschen verhalten, die sich Antworten ausdenken, anstatt zuzugeben, dass sie einfach keine Ahnung haben.“
Nachvollziehbarkeit und Reproduzierbarkeit der Ergebnisse: In manchen Bereichen, wie der Qualifizierung von Kundengesprächen und Mitarbeitern ist eine eindeutige, transparente und reproduzierbare Bewertung der KI notwendig. Bei einer reinen Nutzung von LLMs weichen Ergebnisse bei gleicher Befragung oftmals ab und die Maßstäbe bzw. Regeln zur Beurteilung bleiben intransparent.
ChatGPT benötigt eine enorme Rechenleistung: Allein das Trainieren des Sprachmodells hat laut Schätzungen von Experten etwa 550 Tonnen CO2-Äquivalente ausgestoßen. Das entspricht etwa der Menge der jährlichen Emissionen von 50 Deutschen.
Kosten: Soll ChatGPT kommerziell verwendet werden, ist zudem zu berücksichtigen, dass die Verwendung von ChatGPT kostenpflichtig ist. Die Kosten für den Einsatz der ChatGPT im Business variieren je nach Anwendungsfall.

Unser fachkundiger Standpunkt: Die datenschutzkonforme Verwendung von ChatGPT im Kundenservice und Alternativen

ChatGPT kann in der jetzigen Form vor allem wegen der Unsicherheiten beim Datenschutz noch nicht 1:1 im Kundenservice eingesetzt werden. Doch es gibt verschiedene Möglichkeiten Large Language Models dennoch zu nutzen:

Option 1: Ein eigenes lokal ausführbares Large Language Model installieren oder in einem Datencenter in Europa hosten. Bei lokal ausführbaren Sprachmodellen bleiben die Daten lokal und werden nicht über das Internet gesendet. Das Risiko eines Datenlecks wird minimiert. Eine Herausforderung stellt die Anforderung an Rechenkapazität und Speicherplatz dar. Zudem müssen diese Modelle immer aktuell gehalten werden, was eine administrative Aufgabe mit sich bringt.

Option 2: Aleph Alpha, die deutsche Antwort auf ChatGPT, nutzen. Dieses Modell richtet sich an die Industrie und öffentliche Verwaltung. Gehostet wird die Anwendung in Deutschland. Zudem punktet die Lösung bei der Entscheidungsfindung, denn Quellen werden verifiziert, was verantwortungsvolle und nachvollziehbare Entscheidungen ermöglicht.

Option 3: Kombination aus regelbasierter Nutzung durch ein Framework und Nutzung von LLMs. Dadurch kann individuelles Domänenwissen sicher genutzt werden und das Risiko des „Halluzinierens“ wird vermieden. Dabei werden Prozessschritte, die es „abzusichern“ gilt, mit einem sicheren Framework oder einem regelbasierten Prozess gesteuert, und zum Beispiel Zusammenfassungen relevanter Auszüge einer internen Wissensdatenbank mit Hilfe eines LLM zusammengefasst und in Form einer gut formulierten Antwort zur Verfügung gestellt.

Wenn Sie die Intelligenz der Large Language Models für Ihre Voice- und Chatbots nutzen möchten, dann sollten Sie uns kontaktieren. Wir zeigen Ihnen datensichere Optionen auf, die man auch in Europa nutzen kann.