Zum Inhalt springen

Grundlagen

Was ist ein LLM? Große Sprachmodelle einfach erklärt

Hinter KI-Assistenten stecken große Sprachmodelle, sogenannte LLMs. Wer versteht, wie sie grundsätzlich arbeiten, kann sie besser einsetzen – und weiß, wann Vorsicht geboten ist. Eine Erklärung ohne Formeln.

Lurus Redaktion Veröffentlicht Geprüft 3 Min. Lesezeit
Gemalte Szene: Ein aufgeschlagenes Notizbuch mit Skizzen am Fenster mit Seeblick.

Das Wichtigste in Kürze

  • Ein LLM ist ein KI-Modell, das anhand großer Textmengen gelernt hat, Sprache fortzusetzen.
  • Es berechnet Wahrscheinlichkeiten für das nächste Textstück – es schlägt nicht in einer Datenbank nach.
  • Tokens und Kontextfenster bestimmen, wie viel Text ein Modell auf einmal verarbeiten kann.
  • LLMs können überzeugend formulierte, aber falsche Aussagen erzeugen.
Inhalt
  1. LLM: die Definition
  2. Wie ein Sprachmodell arbeitet
  3. Tokens und Kontextfenster
  4. Was LLMs gut können
  5. Wo die Grenzen liegen
  6. Ein Modell oder mehrere?

LLM: die Definition

LLM steht für Large Language Model, auf Deutsch großes Sprachmodell. Es ist ein KI-Modell, das anhand sehr großer Textmengen trainiert wurde und daraus gelernt hat, Sprache zu verstehen und zu erzeugen. LLMs sind die Grundlage heutiger KI-Assistenten, die Texte schreiben, zusammenfassen, übersetzen, Fragen beantworten oder Programmcode erzeugen.

„Groß“ bezieht sich auf zwei Dinge: die Menge der Trainingsdaten und die Zahl der Parameter, also der internen Stellschrauben, die das Modell während des Trainings einstellt.

Wie ein Sprachmodell arbeitet

Vereinfacht gesagt sagt ein LLM vorher, welches Textstück als Nächstes am besten passt. Es nimmt Ihre Eingabe, berechnet für mögliche Fortsetzungen eine Wahrscheinlichkeit, wählt eine aus, hängt sie an und wiederholt das Ganze – Stück für Stück, bis die Antwort fertig ist.

Das klingt simpel, aber durch das Training auf riesigen Textmengen hat das Modell Muster in Sprache, Fakten, Argumentation und Stil erfasst. Deshalb kann es Aufgaben lösen, die weit über das Vervollständigen von Sätzen hinausgehen. Forschende haben gezeigt, dass große Sprachmodelle neue Aufgaben oft schon anhand weniger Beispiele im Prompt lösen können, ohne neu trainiert zu werden.

Die Transformer-Architektur

Fast alle heutigen LLMs basieren auf der Transformer-Architektur, die 2017 in dem Forschungsartikel „Attention Is All You Need“ vorgestellt wurde. Ihr Kern ist der sogenannte Attention-Mechanismus: Das Modell gewichtet für jedes Wort, welche anderen Wörter im Text für seine Bedeutung wichtig sind. So kann es Zusammenhänge über lange Textpassagen hinweg erfassen.

Tokens und Kontextfenster

LLMs verarbeiten Text nicht Buchstabe für Buchstabe, sondern in Tokens. Ein Token ist ein Textbaustein, oft ein Wort oder ein Wortteil. Lange und zusammengesetzte Wörter, wie sie im Deutschen häufig sind, bestehen meist aus mehreren Tokens.

Das Kontextfenster gibt an, wie viele Tokens ein Modell gleichzeitig berücksichtigen kann – Ihre Eingabe, angehängte Dokumente, den bisherigen Gesprächsverlauf und die Antwort. Ist das Fenster voll, kann das Modell frühere Teile nicht mehr einbeziehen. Für die Arbeit mit langen Dokumenten ist ein großes Kontextfenster daher wichtig. Tokens sind außerdem oft die Grundlage der Abrechnung, mehr dazu im Beitrag Was kostet KI im Unternehmen?.

Was LLMs gut können

Das Bundesamt für Sicherheit in der Informationstechnik nennt unter anderem diese Stärken großer Sprachmodelle:

  • Texte erzeugen, etwa Entwürfe für E-Mails, Berichte oder Beschreibungen
  • Texte bearbeiten, umformulieren, kürzen oder in einen anderen Ton bringen
  • Texte zusammenfassen und übersetzen
  • Fragen beantworten und Informationen strukturieren
  • Programmcode erzeugen und erklären

Typische Einsatzfelder im Unternehmen beschreibt der Beitrag KI-Anwendungsfälle für KMU.

Wo die Grenzen liegen

  • Kein echtes Faktenwissen: Ein LLM berechnet plausible Fortsetzungen. Es kann dabei überzeugend klingende, aber falsche Aussagen erzeugen – sogenannte Halluzinationen.
  • Wissensstand: Das Modell kennt nur, was in seinen Trainingsdaten enthalten war. Neuere Ereignisse und Ihre internen Informationen kennt es nicht von selbst.
  • Rechnen und Logik: Bei exakten Berechnungen und langen Logikketten machen Sprachmodelle Fehler, wenn sie keine Hilfsmittel nutzen.
  • Datenschutz: Was Sie eingeben, wird beim Anbieter verarbeitet. Achten Sie auf Verträge und Regeln.

Wie Sie mit diesen Grenzen umgehen, zeigt der Beitrag KI-Halluzinationen vermeiden. Wie ein LLM verlässlich mit Ihren eigenen Dokumenten arbeitet, erklärt RAG: KI mit Unternehmenswissen.

Ein Modell oder mehrere?

Es gibt viele LLMs von verschiedenen Anbietern, die sich in Stärken, Geschwindigkeit, Kontextfenster und Preis unterscheiden. Für einfache Aufgaben genügt oft ein kleineres, schnelles Modell. Für komplexe Analysen oder lange Dokumente lohnt sich ein leistungsfähigeres. Da sich der Markt schnell entwickelt, ist es sinnvoll, nicht an ein einzelnes Modell gebunden zu sein. Welche Modelle wir anbieten, steht auf unserer Seite Modelle.

Häufige Fragen

Ist ein LLM dasselbe wie KI?

Nein. Künstliche Intelligenz ist der Oberbegriff. LLMs sind eine bestimmte Art von KI-Modellen, die auf Sprache spezialisiert sind. Andere KI-Verfahren erkennen etwa Bilder oder sagen Messwerte voraus.

Weiß ein LLM, was aktuell passiert?

Nur eingeschränkt. Das Wissen eines Modells endet mit seinen Trainingsdaten. Aktuelle Informationen kann es nur nutzen, wenn ein Werkzeug sie bereitstellt, etwa über eine Websuche oder Ihre eigenen Dokumente.

Lernt das Modell aus meinen Eingaben?

Das hängt vom Anbieter ab. Bei vielen Unternehmenslösungen werden Eingaben vertraglich nicht zum Training verwendet. Prüfen Sie diesen Punkt vor dem Einsatz in den Verträgen und Einstellungen.

Warum gibt ein LLM auf dieselbe Frage unterschiedliche Antworten?

Weil es bei der Erzeugung Wahrscheinlichkeiten nutzt und meist nicht immer das wahrscheinlichste Textstück wählt. Das macht Antworten abwechslungsreicher, aber auch weniger vorhersehbar.

Quellen

  1. Attention Is All You Need (Vaswani et al., 2017) arXiv
  2. Language Models are Few-Shot Learners (Brown et al., 2020) arXiv
  3. Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden Bundesamt für Sicherheit in der Informationstechnik (BSI)

Erstellt von der Lurus Redaktion nach unserem Quellenstandard. Redaktionsrichtlinie

Sie möchten KI einführen?

Wir besprechen Ihre Aufgaben und den passenden Einstieg – kostenlos.

Kostenlose Erstberatung anfragen

Kostenlose Erstberatung

Ihr KI-Start, gemeinsam geplant.

Zeigen Sie uns Ihre Aufgaben. Wir besprechen Datenwege, Regeln und den passenden Einstieg für Ihr Team – ohne Feature-Tour.

Die Erstberatung ist kostenlos. Eine Telefonnummer ist nicht erforderlich.