Was ist ein LLM?

LLM steht für Large Language Model, auf Deutsch: großes Sprachmodell. Es handelt sich um eine Art künstliches neuronales Netz, das auf riesigen Textmengen trainiert wurde (Milliarden von Webseiten, Büchern, Artikeln, Quellcode), um das nächste Wort in einem Satz vorherzusagen. ChatGPT, Claude, Gemini, Llama, Mistral, DeepSeek: Alle diese Namen, die Sie seit 2023 überall sehen, sind LLMs oder Produkte, die auf LLMs aufbauen.

Das Prinzip mag lächerlich einfach erscheinen für eine Technologie, die Code generiert, Aufsätze schreibt, 500-seitige Dokumente zusammenfasst und Medizinprüfungen besteht: das nächste Wort vorhersagen. Aber wenn man ein neuronales Netz trainiert, das groß genug ist und auf genügend Text, bringt diese Vorhersageaufgabe Fähigkeiten hervor, die niemand wirklich vorhergesehen hatte: Denken, Übersetzen, Problemlösung, Codegenerierung und eine Form des Sprachverständnisses, die zwar nicht menschlich ist, aber oft Ergebnisse liefert, die von menschlichen nicht zu unterscheiden sind.

Wie ein LLM funktioniert

Ein LLM ist eine sehr komplexe mathematische Funktion. Es nimmt eine Folge von Wörtern (genauer gesagt „Tokens", Wortfragmente) als Eingabe und erzeugt eine Wahrscheinlichkeitsverteilung über alle möglichen Tokens als Ausgabe. Das Token mit der höchsten Wahrscheinlichkeit wird als nächstes Wort ausgewählt, dann zur Sequenz hinzugefügt, und der Prozess beginnt von vorn. So generiert das Modell Text, Wort für Wort (oder Token für Token).

Die zugrunde liegende Architektur heißt Transformer, vorgestellt von Google-Forschern 2017 in einem Artikel mit dem Titel „Attention Is All You Need". Die Schlüsselinnovation des Transformers ist der Aufmerksamkeitsmechanismus (Attention): Anstatt Wörter einzeln von links nach rechts zu verarbeiten (wie die vorher existierenden rekurrenten Netze), kann der Transformer alle Wörter der Sequenz gleichzeitig betrachten und die Beziehungen zwischen jedem Wortpaar berechnen. Das ermöglicht ihm, Kontext zu verstehen: Wenn Sie „das Ufer des Flusses" schreiben, weiß das Modell, dass „Ufer" sich auf den Rand des Gewässers bezieht und nicht auf etwas anderes, weil es die Beziehung zwischen „Ufer" und „Fluss" berechnet hat.

2026 ist die dominierende Architektur Mixture of Experts (MoE): Das Modell enthält insgesamt Billionen von Parametern, aber nur ein Bruchteil (einige Dutzend Milliarden) wird für jedes Token aktiviert. Es ist wie ein Gebäude mit Hunderten von Spezialbüros: Für jede Frage werden Sie nur zu den 2 oder 3 relevanten Büros geleitet, nicht zu allen 200. Das ermöglicht Spitzenqualität bei deutlich geringeren Rechenkosten.

Die drei Phasen der Erstellung eines LLM

Ein LLM wird nicht mit der Fähigkeit geboren, ein Gespräch zu führen. Seine Erstellung durchläuft drei unterschiedliche Phasen, die jeweils verschiedene Fähigkeiten verleihen.

Das Vortraining. Das Modell wird auf einem riesigen Textkorpus trainiert (Milliarden von Webseiten, Bücher, Quellcode, wissenschaftliche Artikel, Forendiskussionen). Das Ziel ist einfach: das nächste Wort vorhersagen. Indem es dies Milliarden Male über Milliarden von Texten tut, lernt das Modell Grammatik, Fakten, logisches Denken, Stil und eine Form von „Weltwissen", das in den statistischen Beziehungen zwischen den Wörtern kodiert ist. Das Vortraining ist die teuerste Phase: Das Training von GPT-3 verbrauchte 1.287 MWh Strom, was der Versorgung von 330 amerikanischen Haushalten für ein Jahr entspricht. Die Modelle von 2026 verbrauchen noch mehr.

Das überwachte Feintuning (SFT). Nach dem Vortraining kann das Modell Text vervollständigen, aber es kann keine Fragen beantworten, Anweisungen befolgen oder ein strukturiertes Gespräch führen. Das überwachte Feintuning besteht darin, es mit hochwertigen Gesprächsbeispielen zu trainieren: von Menschen geschriebene Frage-Antwort-Paare, Beispiele zur Befolgung von Anweisungen, Denkaufgaben. Dieser Schritt verwandelt einen „Textvervollständiger" in einen Konversationsassistenten.

Das Alignment (RLHF, DPO, GRPO). Die dritte Phase besteht darin, das Verhalten des Modells an menschliche Präferenzen anzupassen. Die historische Methode ist RLHF (Reinforcement Learning from Human Feedback): Menschen vergleichen zwei Antworten des Modells und geben an, welche besser ist. Ein Belohnungsmodell wird auf diesen Präferenzen trainiert und dann verwendet, um das LLM per Reinforcement Learning zu optimieren. Neuere Methoden wie DPO (Direct Preference Optimization) und GRPO (Group Relative Policy Optimization) vereinfachen diesen Prozess. Das Alignment verhindert, dass das Modell toxische Inhalte produziert, gefährliche Anweisungen befolgt oder unnötig weitschweifig antwortet.

Tokens: die Grundeinheit

LLMs arbeiten nicht mit Wörtern, sondern mit Tokens. Ein Token ist ein Textfragment: Ein geläufiges Wort ist oft ein einzelnes Token, ein seltenes Wort kann in mehrere Tokens zerlegt werden, und ein Sonderzeichen oder Satzzeichen ist in der Regel ein Token für sich. Im Durchschnitt entspricht ein Token bei deutschem oder englischem Text etwa 3/4 eines Wortes. Ein Text mit 1.000 Wörtern hat ungefähr 1.300 Tokens.

Diese Unterscheidung ist wichtig, weil LLMs nach Tokens abrechnen und limitieren, nicht nach Wörtern. Das „Kontextfenster" (die Textmenge, die das Modell auf einmal verarbeiten kann) wird in Tokens gemessen. 2026 bieten Spitzenmodelle Kontextfenster von 128.000 bis 1 Million Tokens (Gemini, Claude), und Meta Llama 4 Scout erreicht 10 Millionen Tokens. Aber „Kontextfenster" und „effektiver Kontext" sind nicht dasselbe: Die meisten Modelle verlieren an Genauigkeit bei Informationen, die in der Mitte eines langen Kontexts liegen.

Was LLMs können

Die Liste der LLM-Fähigkeiten 2026 ist lang und wächst mit jeder neuen Modellgeneration.

Textgenerierung. E-Mails, Berichte, Artikel, Skripte, Social-Media-Posts verfassen. Das ist der häufigste und sichtbarste Anwendungsfall.

Zusammenfassung und Analyse. Ein 200-seitiges Dokument in wenigen Absätzen zusammenfassen, Kernpunkte extrahieren, Hauptargumente identifizieren, zwei Texte vergleichen.

Übersetzung. LLMs übersetzen zwischen Dutzenden von Sprachen mit einer Qualität, die bei Alltagstexten oft mit menschlichen Übersetzern mithalten kann (weniger zuverlässig bei sehr spezialisierten oder literarischen Texten).

Code-Generierung und -Analyse. Code in praktisch jeder Programmiersprache schreiben, bestehenden Code debuggen, erklären, was ein Programm tut, Code von einer Sprache in eine andere konvertieren. 2026 nutzen etwa 85 % der Entwickler regelmäßig LLM-gestützte Codierungswerkzeuge.

Denken. Denkmodelle (GPT-5 mit konfigurierbarem Aufwand, Claude mit „Extended Thinking", Gemini 3, DeepSeek R1) können komplexe mathematische Probleme, Logikrätsel und Aufgaben lösen, die eine mehrstufige Planung erfordern. Sie „denken", indem sie eine interne Gedankenkette produzieren, bevor sie ihre endgültige Antwort geben.

Multimodalität. Moderne LLMs beschränken sich nicht mehr auf Text. Sie können Bilder analysieren (ein Foto beschreiben, Text in einem Bild lesen, ein Diagramm interpretieren), Audiodateien verarbeiten (Transkription, Sprachübersetzung) und in manchen Fällen Bilder oder Videos generieren.

Was LLMs nicht können

Trotz ihrer beeindruckenden Fähigkeiten haben LLMs grundlegende Grenzen, die man verstehen muss, um sie richtig einzusetzen.

Halluzinationen. LLMs erfinden manchmal falsche Informationen mit völliger Überzeugung. Sie können Studien zitieren, die nicht existieren, Zitate Personen zuschreiben, die sie nie gesagt haben, oder völlig erfundene Zahlen nennen. Das Problem liegt in ihrer Natur: Sie erzeugen den wahrscheinlichsten Text, nicht den wahrsten. Für ein LLM kann eine falsche Aussage, die „richtig klingt", eine höhere Wahrscheinlichkeit haben als eine wahre Aussage, die ungewöhnlich formuliert ist. Die Halluzinationsrate ist mit jeder Modellgeneration gesunken, aber sie ist nicht null und wird es wahrscheinlich nie sein.

Zuverlässiges Denken über lange Ketten. LLMs können 3 bis 5 Denkschritte zuverlässig verketten. Darüber hinaus häufen sich die Fehler. Ein Problem, das 15 logische Denkschritte erfordert, wird selbst von den besten Modellen inkonsistent gelöst. Denkmodelle (die „länger nachdenken") heben diese Grenze an, beseitigen sie aber nicht.

Aktuelles Wissen. Ein LLM ist in der Zeit eingefroren. Es kennt die Informationen in seinen Trainingsdaten, weiß aber nichts über Ereignisse nach dem Stichtag seines Trainings. Um auf aktuelle Informationen zuzugreifen, braucht es Werkzeuge (Websuche, Datenbankzugriff), was im Grunde darauf hinausläuft, einen KI-Agenten um das LLM herum zu bauen.

Mathematik und Zählen. Paradoxerweise sind LLMs schlecht in grundlegender Arithmetik, wenn sie sie „im Kopf" machen müssen (Buchstaben in einem Wort zählen, große Zahlen multiplizieren). Sie funktionieren gut beim mathematischen Denken (ein Problem verstehen und den Lösungsansatz formulieren), aber nicht beim rohen Rechnen. Deshalb geben die besten Systeme ihnen Zugang zu einem Code-Interpreter, um Berechnungen auszuführen, statt sie selbst machen zu lassen.

Gedächtnis zwischen Gesprächen. Standardmäßig hat ein LLM kein Gedächtnis zwischen zwei Gesprächen. Jeder Austausch beginnt bei null. Gedächtnissysteme (Zusammenfassungen früherer Gespräche, Kontextdatenbanken) sind von Anwendungen hinzugefügte Schichten, keine native Fähigkeit des Modells.

Die wichtigsten LLMs 2026

Das LLM-Ökosystem hat sich in zwei Kategorien strukturiert: proprietäre Modelle (nur über API oder Web-Oberfläche zugänglich) und Open-Source-Modelle (herunterladbar und lokal ausführbar).

GPT-5 (OpenAI) ist OpenAIs Flaggschiffmodell, Nachfolger von GPT-4. Es integriert einen konfigurierbaren Denkmodus, der ihm erlaubt, je nach Aufgabenkomplexität länger oder kürzer „nachzudenken". ChatGPT, aufgebaut auf GPT-5, erreicht 2026 900 Millionen wöchentlich aktive Nutzer.

Claude (Anthropic) ist Anthropics Modellfamilie mit einer auf Sicherheit und Alignment ausgerichteten Architektur. Claude ist in mehreren Größen verfügbar (Haiku, Sonnet, Opus), angepasst an verschiedene Qualitäts-/Kosten-/Geschwindigkeitsverhältnisse. Anthropic bedient über 300.000 Geschäftskunden.

Gemini (Google) ist Googles Modellfamilie, integriert in die Google-Suche, Gmail, Google Docs und Android. Die Gemini-App überschreitet 2026 900 Millionen monatlich aktive Nutzer. Gemini zeichnet sich durch sehr große Kontextfenster aus (bis zu 1 Million Tokens).

Llama (Meta) ist die führende Open-Source-Modellfamilie, frei herunterladbar und modifizierbar. Llama 4 Scout erreicht 10 Millionen Tokens Kontext. Llama-Modelle werden massiv von Unternehmen genutzt, die ihr eigenes LLM hosten wollen, ohne von einem Cloud-Anbieter abhängig zu sein.

DeepSeek (DeepSeek) ist ein chinesisches Open-Source-Modell, das Anfang 2025 die Branche erschütterte, indem es GPT-4-vergleichbare Leistung bei deutlich geringeren Trainingskosten zeigte. DeepSeek bewies, dass Spitzenleistung nicht unbedingt Spitzenbudgets erfordert.

Mistral (Mistral AI) ist das führende europäische Modell, entwickelt von einem französischen Startup. Mistral setzt auf Effizienz: kleinere Modelle, die für ihre Größe sehr leistungsfähig sind, besonders geeignet für Anwendungsfälle, in denen Latenz oder Kosten entscheidend sind.

Parameter: Was bedeuten sie

Wenn von einem Modell mit „70 Milliarden Parametern" oder „1 Billion Parametern" die Rede ist, sind Parameter die numerischen Werte, die während des Trainings angepasst werden und das Verhalten des Modells definieren. Jeder Parameter ist eine Gleitkommazahl, die im neuronalen Netz gespeichert ist. Grob gesagt: Mehr Parameter bedeutet, dass das Modell mehr Wissen und komplexere Beziehungen zwischen Wörtern kodieren kann.

Aber Größe ist nicht alles. Ein 8-Milliarden-Parameter-Modell, das gut auf hochwertigen Daten trainiert wurde, kann ein 70-Milliarden-Parameter-Modell übertreffen, das schlecht auf mittelmäßigen Daten trainiert wurde. Die Qualität der Trainingsdaten, die Modellarchitektur und die Post-Training-Techniken zählen mindestens ebenso viel wie die rohe Parameteranzahl. Das ist die Lektion, die DeepSeek der Branche erteilt hat: Leistung hängt nicht allein vom Budget ab.

Proprietäre vs. Open-Source-Modelle

Die Debatte zwischen proprietären und Open-Source-Modellen ist eine der aktivsten in der Branche 2026.

Proprietäre Modelle (GPT-5, Claude, Gemini) sind nur über API oder Web-Oberfläche zugänglich. Sie können den Quellcode nicht einsehen, sie nicht herunterladen oder modifizieren. Der Vorteil: Sie sind in der Regel die leistungsfähigsten, werden ständig aktualisiert, und Sie müssen keine Infrastruktur verwalten. Der Nachteil: Sie sind vom Anbieter abhängig (Preise, Nutzungsbedingungen, Verfügbarkeit, Datenschutzrichtlinie).

Open-Source-Modelle (Llama, DeepSeek, Mistral, Qwen) sind herunterladbar, modifizierbar und auf der eigenen Infrastruktur ausführbar. Der Vorteil: Volle Kontrolle über die Daten (nichts verlässt Ihre Server), Möglichkeit, das Modell für Ihren spezifischen Anwendungsfall feinzutunen, keine Anbieterabhängigkeit. Der Nachteil: Sie müssen die Infrastruktur verwalten (teure GPUs), die Leistung ist in der Regel etwas geringer als bei den besten proprietären Modellen, und Updates sind seltener.

2026 verringert sich der Leistungsabstand zwischen beiden Kategorien. DeepSeek V3.2, Qwen3 und Llama 4 konkurrieren mit proprietären Modellen in vielen Benchmarks. Für viele Unternehmen basiert die Wahl weniger auf der Rohleistung als auf den Anforderungen an Datenschutz, Kosten und Kontrolle.

Die Nutzungskosten

Proprietäre LLMs berechnen pro Token (Ein- und Ausgabe). Die Preise variieren erheblich je nach Modell und Anbieter. Ein Spitzenmodell kostet typischerweise zwischen 2 und 15 Dollar pro Million Eingabetokens und zwischen 8 und 60 Dollar pro Million Ausgabetokens. Kleinere oder ältere Modelle kosten einen Bruchteil davon.

Bei selbst gehosteten Open-Source-Modellen ist der Hauptkostenfaktor die Hardware: Eine professionelle GPU (NVIDIA A100 oder H100) kostet zwischen 10.000 und 30.000 Euro, und ein großes Modell benötigt mehrere GPUs. Die Kosten pro Token sind niedriger, sobald die Infrastruktur steht, aber die Anfangsinvestition und die Wartung sind erheblich.

Der globale LLM-Markt wird für 2025 auf 7,81 Milliarden Dollar geschätzt und soll bis 2034 130 Milliarden erreichen. OpenAI hat die Marke von 20 Milliarden Dollar annualisiertem Umsatz überschritten, Anthropic hat 14 Milliarden erreicht.

Risiken und Grenzen, die man im Blick behalten sollte

Datenvertraulichkeit. Wenn Sie Text über eine Cloud-API an ein LLM senden, wird dieser Text an die Server des Anbieters übermittelt. Prüfen Sie immer die Datenschutzrichtlinie: Manche Anbieter können Ihre Daten zum Training zukünftiger Modelle verwenden. Wenn Vertraulichkeit entscheidend ist, ziehen Sie ein selbst gehostetes Open-Source-Modell oder einen Unternehmensvertrag mit expliziten Garantien in Betracht.

Verzerrungen (Bias). LLMs spiegeln die Verzerrungen wider, die in ihren Trainingsdaten vorhanden sind. Wenn die Daten bestimmte kulturelle, geografische oder demografische Perspektiven überrepräsentieren, wird das Modell diese Verzerrungen reproduzieren. Die Anbieter arbeiten daran, diese durch Alignment und Filterung zu reduzieren, aber das Problem ist nicht gelöst.

Energieverbrauch. Training und Betrieb von LLMs verbrauchen erhebliche Mengen an Energie. Der KI-Sektor könnte bis 2027 zwischen 85 und 134 TWh pro Jahr verbrauchen, fast so viel wie die Niederlande. Das ist ein wachsendes Umweltproblem.

Abhängigkeit. Die Konzentration des Marktes auf wenige Anbieter (OpenAI, Google, Anthropic, Meta) schafft Abhängigkeitsrisiken. Eine Preisänderung, eine Änderung der Nutzungsbedingungen oder ein Ausfall kann Millionen von Nutzern und Anwendungen betreffen.

Ein LLM ist ein neuronales Netz, das trainiert wurde, das nächste Wort vorherzusagen. Diese einfache Aufgabe, angewandt in massivem Maßstab, bringt Fähigkeiten im Denken, Schreiben, Übersetzen und Programmieren hervor, die die Informatik in drei Jahren transformiert haben. 2026 werden LLMs von Hunderten von Millionen Menschen genutzt, aber ihre Grenzen (Halluzinationen, fragiles Denken über lange Sequenzen, fehlender nativer Speicher) bleiben real. Zu verstehen, was ein LLM ist und was es nicht ist, ist die Voraussetzung dafür, es effektiv einzusetzen.