Prompt-Engineering

• Einführung

• Kapitel 1 Verständnis großer Sprachmodelle (LLMs)

• Kapitel 2 Die Anatomie eines Prompts: Wichtige Komponenten

• Kapitel 3 Kernprinzipien effektiven Promptings

• Kapitel 4 Zero-Shot- vs. Few-Shot-Prompting-Techniken

• Kapitel 5 Die Bedeutung von Kontext und Klarheit

• Kapitel 6 Anweisungen formulieren: Spezifität und Einschränkungen

• Kapitel 7 Effektive Nutzung von Formatierung und Trennzeichen

• Kapitel 8 Iterative Prompt-Entwicklung und -Verfeinerung

• Kapitel 9 Rollen-Prompting: Zuweisen von Personas an die KI

• Kapitel 10 Steuerung von Ausgabelänge, Format und Stil

• Kapitel 11 Fortgeschrittenes Prompting: Chain-of-Thought-Schlussfolgerung

• Kapitel 12 Zerlegung komplexer Aufgaben: Prompt-Chaining

• Kapitel 13 Voreingenommenheit mindern und Fairness in Prompts sicherstellen

• Kapitel 14 Prompt-Engineering für Textgenerierung und Zusammenfassung

• Kapitel 15 Prompt-Engineering für Frage-Antwort-Systeme

• Kapitel 16 Prompt-Engineering für Codegenerierung und -erklärung

• Kapitel 17 Prompting für kreatives Schreiben und Inhaltserstellung

• Kapitel 18 Nutzung von Prompts für Datenanalyse und -interpretation

• Kapitel 19 Behebung häufiger Prompting-Probleme

• Kapitel 20 Bewertung der Prompt-Leistung und KI-Antworten

• Kapitel 21 Prompt-Injection: Verständnis von Sicherheitslücken

• Kapitel 22 Tools und Plattformen für Prompt-Engineers

• Kapitel 23 Ethische Überlegungen im Prompt-Engineering

• Kapitel 24 Die Zukunft des Promptings und der Mensch-KI-Interaktion

• Kapitel 25 Die Kunst meistern: Kontinuierliches Lernen und Üben

Es ist nicht allzu lange her, dass die Interaktion mit einem Computer dem Erteilen stumpfer Befehle glich. „Datei öffnen.“ „Dokument speichern.“ „Seite drucken.“ Wir sprachen einen hölzernen, spezifischen Dialekt, der durch Menüs und Schaltflächen diktiert wurde. Schnell vorwärts in die Gegenwart, und wir befinden uns am Anfang, oder vielleicht bereits mittendrin, einer neuen Ära der Mensch-Computer-Interaktion. Wir beginnen, zu konversieren mit Maschinen, Maschinen, die Nuancen verstehen, kreativen Text generieren, Sprachen übersetzen, Code schreiben und komplexe Ideen erklären können. Dieser Wandel hat sich nicht über Nacht vollzogen, aber die Beschleunigung in den letzten Jahren war atemberaubend.

Im Kern dieser Revolution stehen Technologien, die allgemein als Künstliche Intelligenz (KI) bekannt sind, und spezifischer als Große Sprachmodelle oder LLMs. Dies sind die digitalen Gehirne, die die Chatbots, virtuellen Assistenten und Werkzeuge zur Inhaltsgenerierung antreiben, die sich rasant in unseren Alltag und unsere Arbeitsabläufe integrieren. Sie können E-Mails verfassen, Ideen sammeln, lange Berichte zusammenfassen, Programme debuggen, Gedichte erstellen und sogar fotorealistische Bilder auf Basis textlicher Beschreibungen generieren. Das Potenzial scheint fast grenzenlos und bietet Werkzeuge, die unsere Kreativität erweitern, unsere Produktivität steigern und uns helfen, Probleme auf völlig neue Weise zu lösen.

Doch dieses Potenzial zu nutzen, ist nicht so einfach wie bloßes Sprechen. Obwohl diese KI-Modelle bemerkenswert leistungsfähig sind, sind sie keine Gedankenleser. Sie arbeiten auf Basis der Anweisungen, die wir geben, der Fragen, die wir stellen, der Texte, die wir ihnen zuführen. Diese Eingabe, der Text, den wir verwenden, um unsere Absichten der KI mitzuteilen, wird als „Prompt“ bezeichnet. Und genau hier liegt eine entscheidende Herausforderung: Die Qualität, Klarheit und Wirksamkeit unserer Prompts bestimmen direkt die Qualität, Relevanz und Nützlichkeit der Antwort der KI. Effektiv mit diesen mächtigen, aber wörtlich nehmenden Systemen zu kommunizieren, erfordert mehr als nur zwangloses Gespräch; es erfordert Geschick, Präzision und eine neue Art von Kompetenz.

Hier betritt Prompt Engineering die Bühne. Es ist die aufstrebende Disziplin, die entscheidende Fähigkeit, die entstehende Kunstform, effektive Prompts zu gestalten. Es geht darum, zu lernen, wie man mit KI „spricht“, um sie zuverlässig zum gewünschten Ergebnis zu führen. Betrachten Sie es weniger als Programmieren im traditionellen Sinne und mehr als das Geben perfekter Regieanweisungen an einen unglaublich talentierten, vielseitigen, aber manchmal frustrierend wörtlich nehmenden Schauspieler. Sie müssen die Fähigkeiten Ihres Schauspielers verstehen, die Szene klar setzen, die Rolle definieren und die gewünschte Handlung spezifizieren, um eine wirklich überzeugende Leistung zu erhalten.

Warum ist die Beherrschung dieser „Kunst“ so wichtig? Weil der Unterschied zwischen einem schlecht konstruierten Prompt und einem gut durchdachten gewaltig sein kann. Ein vager oder mehrdeutiger Prompt könnte eine generische, unhilfreiche oder völlig irrelevante Antwort liefern. Er könnte die KI auf einen unsinnigen Pfad führen, voreingenommene oder ungenaue Informationen generieren oder einfach die Nuance Ihrer Anfrage verfehlen. Umgekehrt kann ein sorgfältig formulierter Prompt das volle Potenzial der KI freisetzen und zu aufschlussreichen Analysen, perfekt formatiertem Text, kreativen Lösungen, präzisen Zusammenfassungen oder genau dem Code-Stück führen, das Sie brauchten. Effektives Prompting verwandelt die KI von einer skurrilen Neuheit in einen mächtigen Kollaborateur.

Sie fragen sich vielleicht, ob dies eine Fähigkeit ist, die Informatikern oder KI-Forschern vorbehalten ist. Die Antwort ist ein klares Nein. Da KI allgegenwärtiger wird, wird die Fähigkeit, effektiv mit ihr zu interagieren, für fast jeden unverzichtbar. Autoren können sie nutzen, um Schreibblockaden zu überwinden oder verschiedene Stile zu erkunden. Vermarkter können sie für das Verfassen von Texten, das Generieren von Kampagnenideen oder die Analyse von Kundenstimmungen einsetzen. Entwickler können Coding, Debugging und Dokumentationsaufgaben beschleunigen. Forscher können sie nutzen, um Daten zu sichten, Ergebnisse zusammenzufassen oder Hypothesen zu formulieren. Studierende können Hilfe bei der Erklärung komplexer Themen oder der Strukturierung von Essays finden. Künstler nutzen KI, um Konzepte zu visualisieren und neuartige Bilder zu generieren. Geschäftsleute können Berichtserstellung automatisieren, Kommunikation verfassen und Trends analysieren. Kurz gesagt: Wenn Ihre Arbeit oder Ihr Leben Sprache, Information oder kreative Generierung beinhaltet, wird Prompt Engineering rasch zu einer grundlegenden Fähigkeit.

Betrachten Sie eine Analogie: Stellen Sie sich vor, Sie hätten einen unglaublich wissenden und hilfsbereiten Assistenten, der in der Lage ist, riesige Mengen an Informationen fast augenblicklich zu Zugriff und zu verarbeiten. Dieser Assistent nimmt jedoch alles, was Sie sagen, sehr wörtlich und hat kein inhärentes Verständnis Ihres zugrundeliegenden Kontexts oder Ihrer Annahmen, es sei denn, Sie buchstabieren sie aus. Wenn Sie vage fragen: „Erzählen Sie mir etwas über Finanzen“, erhalten Sie vielleicht eine Lehrbuchdefinition oder eine zufällige Ansammlung von Fakten. Wenn Sie aber fragen: „Erklären Sie das Konzept des Zinseszinses einem 10-Jährigen mit einer einfachen Analogie, die das Sparen von Taschengeld involviert“, liefern Sie den notwendigen Kontext, die Zielgruppe und das gewünschte Format, was zu einer viel nützlicheren und zielgerichteteren Antwort führt. Prompt Engineering ist die Praxis, Anfragen mit diesem Maß an bewusster Klarheit zu formulieren.

Es ist wichtig, realistische Erwartungen zu setzen. Prompt Engineering geht nicht darum, eine einzelne „Zauberformel“ zu finden, die all Ihre Probleme sofort löst. KI-Modelle, besonders die großen und komplexen, können manchmal unvorhersehbar sein. Was heute perfekt funktioniert, muss morgen vielleicht angepasst werden. Es geht auch nicht darum, die KI zu täuschen. Stattdessen ist es ein methodischer Prozess, der das Verstehen der Natur der KI, das logische Strukturieren Ihrer Anfragen, das Bereitstellen ausreichenden Kontexts, das klare Definieren Ihrer gewünschten Ausgabe und oft das Iterative Verfeinern Ihrer Prompts basierend auf den erhaltenen Ergebnissen umfasst. Es ist eine Mischung aus logischem Denken, linguistischer Präzision, kreativer Problemlösung und empirischem Testen.

Dieses Buch, „Prompt Engineering: Die Kunst, mit KI zu sprechen, meistern“, ist als Ihr umfassender Leitfaden auf dieser Reise konzipiert. Unser Ziel ist es, den Prozess der effektiven Kommunikation mit KI zu entmystifizieren. Wir möchten Sie mit den grundlegenden Prinzipien, praktischen Techniken und fortgeschrittenen Strategien ausstatten, die nötig sind, um über einfache Befehle hinauszugehen und die Kraft moderner Sprachmodelle wirklich zu nutzen. Ob Sie ein kompletter Anfänger sind, der neugierig auf KI ist, oder jemand, der bereits mit diesen Werkzeugen experimentiert und seine Ergebnisse verbessern möchte – dieses Buch wird das Fundament und die Einsichten liefern, die Sie brauchen.

Wir werden diese Erkundung gemeinsam antreten, beginnend mit einem Blick unter die Haube, um konzeptionell zu verstehen, wie diese Großen Sprachmodelle funktionieren – was sie antreibt und warum sie so reagieren, wie sie es tun. Das Verständnis des „Geistes“, mit dem Sie kommunizieren, ist der erste Schritt zu einem effektiven Dialog. Von dort aus werden wir die Anatomie eines Prompts zerlegen und die Schlüsselzutaten identifizieren, die zu seinem Erfolg beitragen. Wir werden in die Kernprinzipien eintauchen, die allem effektiven Prompting zugrunde liegen, und lernen, warum Klarheit, Spezifität und Kontext von größter Bedeutung sind.

Unsere Reise wird uns dann durch verschiedene Techniken führen, von einfachen Zero-Shot-Anfragen bis hin zu komplexeren Few-Shot-Beispielen, die der KI Muster zum Folgen liefern. Wir werden untersuchen, wie man präzise Anweisungen formuliert, Formatierung und Trennzeichen verwendet, um Ihre Prompts und die Ausgabe der KI zu strukturieren, und den entscheidenden Prozess der iterativen Verfeinerung annehmen – Testen, Analysieren der Ergebnisse und schrittweises Verbessern Ihrer Prompts. Sie werden lernen, wie die Zuweisung von Rollen oder Personas an die KI ihre Antworten dramatisch formen kann und wie man entscheidende Aspekte wie Länge, Format, Ton und Stil des generierten Textes kontrolliert.

Im weiteren Verlauf werden wir fortgeschrittenere Methoden angehen. Wir werden Techniken wie Chain-of-Thought-Prompting aufdecken, die die KI ermutigen, „Schritt für Schritt zu denken“, um komplexe Probleme zu lösen. Wir werden auch betrachten, wie man große, komplexe Aufgaben in handhabbare Teilaufgaben zerlegt, indem man Prompt Chaining nutzt, im Grunde einen Workflow für die KI erstellt. Diese fortgeschrittenen Techniken ermöglichen die Bewältigung anspruchsvoller Herausforderungen, die weit über einfaches Fragen-Beantworten hinausgehen.

Darüber hinaus geht es bei effektiver Kommunikation mit KI nicht nur darum, die gewünschte Ausgabe zu erhalten; es geht auch um verantwortungsvolle Nutzung. Wir werden bedeutender Aufmerksamkeit kritischen Überlegungen widmen, wie der Verringerung von Bias in Prompts und KI-Antworten, der Gewährleistung von Fairness und dem Verständnis potenzieller Sicherheitslücken wie Prompt Injection. Wir werden auch die ethischen Dimensionen der Nutzung dieser mächtigen Werkzeuge diskutieren, ein entscheidender Aspekt, um ein verantwortungsvoller Prompt Engineer zu werden.

In der Erkenntnis, dass Theorie am besten durch Praxis verstanden wird, werden wir die Anwendung von Prompt Engineering in einer breiten Palette von Domänen erkunden. Wir werden spezifische Strategien für Textgenerierung, Zusammenfassung, den Aufbau von Frage-Antwort-Systemen, Code-Generierung und -Erklärung, kreatives Schreiben, Content-Erstellung und sogar die Nutzung von KI für Datenanalyse und -interpretation betrachten. Diese praktischen Beispiele werden veranschaulichen, wie die erlernten Prinzipien und Techniken angewendet werden können, um greifbare Ergebnisse in realen Szenarien zu erzielen.

Kein Lernprozess ist ohne Hürden, daher werden wir auch gängige Fehlerbehebungstechniken für den Fall behandeln, dass Ihre Prompts nicht die erwarteten Ergebnisse liefern, sowie Methoden zur Bewertung der Leistung Ihrer Prompts und der Qualität der KI-Antworten. Wir werden Sie auch auf nützliche Tools und Plattformen hinweisen, die Ihre Prompt-Engineering-Bemühungen unterstützen können und den Entwicklungs- und Testprozess optimieren.

Schließlich werden wir in die Ferne blicken und die zukünftige Entwicklung von Prompt Engineering und die sich wandelnde Landschaft der Mensch-KI-Interaktion diskutieren. Dieses Feld ist dynamisch, mit ständig neuen Modellen, Techniken und Herausforderungen. Daher konzentriert sich der letzte Schritt unserer Reise auf die Bedeutung von kontinuierlichem Lernen und engagierter Übung – dem wahren Pfad zur Beherrschung dieser sich entwickelnden Kunst.

Versiert im Prompt Engineering zu werden, hat weniger mit dem Auswendiglernen von Formeln zu tun als mit der Entwicklung einer Intuition dafür, wie diese Systeme „denken“ und reagieren. Es erfordert Geduld, Experimentierfreude und die Bereitschaft, aus sowohl Erfolgen als auch Misserfolgen zu lernen. Es geht darum, Ihre Fähigkeit zu verfeinern, menschliche Absicht in Anweisungen zu übersetzen, die eine künstliche Intelligenz verstehen und effektiv ausführen kann. Betrachten Sie sich selbst als jemanden, der eine neue Sprache lernt – keine fremde menschliche Sprache, sondern die Sprache der Kollaboration mit KI.

Die Fähigkeit, klar und effektiv mit KI zu kommunizieren, wird sich im 21. Jahrhundert zu einer zunehmend wertvollen Fähigkeit entwickeln. Sie ist die Brücke zwischen menschlicher Absicht und künstlicher Fähigkeit, der Schlüssel, der das kollaborative Potenzial dieser bemerkenswerten Technologien freisetzt. Indem Sie die Prinzipien und Praktiken des Prompt Engineering erlernen, lernen Sie nicht nur den Umgang mit einem neuen Werkzeug; Sie lernen, mit Intelligenz auf eine grundlegend neue Weise zu kooperieren. Dieses Buch ist Ihr Leitfaden zum Bau dieser Brücke, zur Beherrschung der Kunst, mit KI zu sprechen, und zum selbstbewussten Navigieren der Zukunft der Mensch-KI-Kollaboration. Beginnen wir das Gespräch.

Willkommen im Maschinenraum. In der Einführung haben wir uns über das Potenzial des Gesprächs mit KI gewundert und die entscheidende Rolle von Prompt Engineering hervorgehoben, um dieses Gespräch produktiv zu gestalten. Um die Kunst, mit KI zu sprechen, jedoch wirklich zu meistern, müssen wir zunächst besser verstehen, wem (oder was) wir da eigentlich sprechen. Was ist dieses „Large Language Model“ oder LLM, das im Herzen so vieler moderner KI-Tools schlägt? Die Schichten abzutragen – selbst nur konzeptionell – hilft uns zu verstehen, warum bestimmte Prompts funktionieren, warum andere scheitern und wie wir sie effektiver formulieren können.

Man kann es mit dem Autofahren lernen vergleichen. Man muss den Motor nicht unbedingt selbst wieder zusammenbauen können, aber den Unterschied zwischen Gaspedal und Bremse zu kennen, zu verstehen, dass das Lenkrad die Richtung ändert, und zu realisieren, dass das Auto Treibstoff braucht, ist ziemlich fundamental. Ähnlich verhält es sich mit dem Verständnis der grundlegenden Prinzipien, nach denen ein LLM arbeitet – seiner Größe, seinem Lernprozess, seiner Art der Textgenerierung. Das bildet das Fundament für eine geschickte Interaktion. Wir streben hier keinen Doktortitel in maschinellem Lernen an, sondern vielmehr ein solides Arbeitswissen über die „Maschine“, die wir steuern.

Lassen Sie uns den Namen selbst aufschlüsseln: Large Language Model (Großes Sprachmodell). Jedes Wort verrät uns etwas Wichtiges.

Zuerst „Large“ (Groß). Das ist keine Untertreibung; es ist vielleicht das definierende Merkmal moderner LLMs im Vergleich zu ihren Vorgängern. Die „Größe“ bezieht sich hauptsächlich auf zwei Dinge: die schiere Menge an Daten, mit denen sie trainiert wurden, und die Anzahl der Parameter, die sie besitzen.

Die Trainingsdaten sind fast unvorstellbar umfangreich. Diese Modelle lernen, indem sie Text und Code verarbeiten, der aus dem Internet, digitalisierten Büchern, Artikeln, Websites und anderen Quellen zusammengetragen wurde – potenziell hunderte Milliarden oder sogar Billionen von Wörtern. Dieser kolossale Datensatz ist der Ort, an dem das Modell Grammatik, Syntax, verschiedene Sprachen, faktisches Wissen (so wie es zum Zeitpunkt der Datensammlung existierte), Schlusslussmuster, kulturelle Nuancen und leider auch die in diesen Daten eingebetteten Vorurteile (Bias) lernt. Es ist wie ein Lehrling, der fast jedes Buch in der größten Bibliothek der Welt gelesen hat und außerdem unzähligen Gesprächen gelauscht hat.

Der zweite Aspekt von „Large“ ist die Anzahl der Parameter. Was ist ein Parameter in diesem Kontext? Man kann Parameter als die internen „Regler“ oder „Gewichte“ betrachten, die das Modell während seines Trainingsprozesses anpasst. Jeder Parameter stellt ein winziges Stück gelernter Information dar, eine Verbindungsstärke zwischen Konzepten oder linguistischen Merkmalen. Einfachere Modelle mögen Tausende oder Millionen von Parametern haben. Heutige State-of-the-Art-LLMs verfügen über Parameter in der Größenordnung von hunderten Milliarden oder sogar Billionen. Diese astronomische Zahl ermöglicht es ihnen, unglaublich komplexe Muster und Beziehungen innerhalb der Sprachdaten zu erfassen. Die Skalierung ist es, die das nuancierte Verständnis und die Generierungsfähigkeiten ermöglicht, die oft so menschlich wirken. Es ist diese Komplexität, die „emergente Fähigkeiten“ (emergent abilities) zulässt – Fähigkeiten wie Übersetzung oder Arithmetik, die nicht explizit programmiert wurden, sondern sich aus dem Erlernen von Mustern in dem massiven Datensatz ergaben. Diese Skalierung trägt jedoch auch zu ihrer Unvorhersehbarkeit und der Empfindlichkeit bei, die sie auf subtile Änderungen in Prompts zeigen können.

Als Nächstes „Language“ (Sprache). Dies bezeichnet die primäre Domäne dieser Modelle: die menschliche Sprache. Ihre Kernfunktion dreht sich um das Verstehen und Generieren von Text. Sie verarbeiten Eingabetext (Ihren Prompt) und generieren Ausgabetext (die Antwort). Zwar erweitern einige Modelle ihre Fähigkeiten in Richtung multimodaler Anwendungen (Verstehen und Generieren von Bildern, Audio usw.), doch ihre Grundlage und die Kernprinzipien, die wir besprechen werden, beziehen sich primär auf ihre Beherrschung von Text. Sie „denken“ in Begriffen von Wörtern, oder genauer gesagt, Tokens (darauf kommen wir später noch zu sprechen). Dieser Fokus auf Sprache bedeutet, dass sie bei Aufgaben, die Schreiben, Zusammenfassen, Übersetzen, Beantworten von Fragen und Analysieren von Text beinhalten, brillieren. Es bedeutet aber auch, dass ihr Verständnis der Welt durch die Linse der Sprache gewonnen wird, wie sie in ihren Trainingsdaten repräsentiert ist, was wichtige Implikationen für ihr Wissen und ihre Grenzen hat.

Schließlich „Model“ (Modell). Im Bereich der KI und des maschinellen Lernens ist ein Modell im Wesentlichen ein mathematisches System, eine komplexe Funktion, das gelernt hat, Muster darzustellen, die in Daten entdeckt wurden. Es ist keine Datenbank, die Informationen explizit speichert und abruft wie ein herkömmliches Computerprogramm. Stattdessen ist es ein komplexes Netzwerk (oft basierend auf einer Architektur namens Transformer, auf die wir noch zurückkommen werden), das trainiert wurde, Textsequenzen vorherzusagen. Wenn Sie ihm einen Prompt geben, durchsucht es keinen Index nach der Antwort; es nutzt seine gelernten Muster, kodiert in seinen Milliarden von Parametern, um die wahrscheinlichste Fortsetzung des von Ihnen bereitgestellten Textes vorherzusagen. Es ist ein generatives System, das Antworten basierend auf den statistischen Beziehungen erstellt, die es während des Trainings gelernt hat.

Wie findet also dieser Lernprozess statt? Er umfasst typischerweise zwei Hauptphasen: Pre-Training (Vortraining) und Fine-Tuning (Feinabstimmung).

Das Pre-Training ist die grundlegende Phase, in der die Magie – oder besser gesagt die intensive Berechnung – stattfindet. Das Modell wird auf den riesigen Datensatz losgelassen, den wir zuvor besprochen haben. Die primäre Lernmethode ist oft „selbstüberwacht“ (self-supervised). Das bedeutet, es benötigt keine Menschen, die jeden Datensatz explizit kennzeichnen. Stattdessen lernt es aus den Daten selbst. Eine gängige Technik ist Masked Language Modeling (maskiertes Sprachmodellierung): Dem Modell wird ein Satz vorgelegt, in dem einige Wörter verdeckt (oder maskiert) sind, und seine Aufgabe besteht darin, diese versteckten Wörter basierend auf dem umgebenden Kontext vorherzusagen.

Stellen Sie sich vor, Sie lesen Milliarden von Sätzen wie „Der schnelle braune ___ springt über den faulen Hund“ und müssen das fehlende Wort („Fuchs“) erraten. Indem es dies unzählige Male tut, beginnt das Modell, Grammatik zu lernen („springt“ erfordert ein Substantiv im Singular), Semantik (der Kontext deutet auf ein Tier hin, das für Springen bekannt ist) und häufige Wortverbindungen („schneller brauner Fuchs“ ist eine häufige Phrase). Eine andere Technik besteht darin, das nächste Wort in einer Sequenz vorherzusagen. Gegeben „Es war einmal ein...“, lernt das Modell, wahrscheinliche Fortsetzungen wie „Prinzessin“, „Drache“ oder „Ritter“ vorherzusagen.

Durch diesen intensiven Prozess, wiederholt über den massiven Datensatz, baut das Modell seine interne Repräsentation der Sprache auf – wie Wörter sich zueinander verhalten, wie Sätze strukturiert sind, welches Allgemeinwissen im Text eingebettet ist und sogar rudimentäre Schlusslussfähigkeiten, basierend auf in den Daten beobachteten Mustern. Diese Pre-Training-Phase erfordert enorme Rechenleistung und Zeit, oft Wochen oder Monate auf Tausenden spezialisierter Prozessoren (GPUs oder TPUs). Das Ergebnis ist ein Basismodell mit breiten Sprachverständnis- und Generierungsfähigkeiten.

Nach dem Pre-Training durchlaufen viele LLMs eine zweite Phase namens Fine-Tuning. Während das Pre-Training dem Modell allgemeine Sprachkenntnisse vermittelt, passt das Fine-Tuning es für spezifische Aufgaben an oder richtet sein Verhalten stärker an menschlichen Erwartungen aus. Dies beinhaltet ein weiteres Training des Modells, aber auf einem kleineren, kuratierteren Datensatz.

Zum Beispiel könnte ein Modell speziell für Dialoge feinabgestimmt werden, indem Beispiele von Gesprächen verwendet werden. Oder es könnte für das Befolgen von Anweisungen (Instruction Following) feinabgestimmt werden, indem Paare von Anweisungen und gewünschten Ausgaben genutzt werden. Eine entscheidende, weit verbreitete Fine-Tuning-Technik ist Reinforcement Learning from Human Feedback (RLHF) (Bestärkendes Lernen aus menschlichem Feedback). Bei RLHF spielen Menschen eine Schlüsselrolle. Sie könnten verschiedene vom Modell für einen gegebenen Prompt generierte Antworten bewerten und angeben, welche besser sind (hilfreicher, genauer, sicherer, besser formuliert). Dieses Feedback wird dann genutzt, um das Modell für das Generieren von Antworten zu „belohnen“, die den bevorzugten ähneln, und so sein Verhalten effektiv in Richtung einer besseren Übereinstimmung mit menschlichen Werten und Absichten zu steuern. RLHF ist ein Hauptgrund, warum die Interaktion mit vielen modernen Chatbots natürlicher und hilfreicher wirkt als mit früheren Modellen. Es hilft ihnen, bessere Assistenten zu werden, nicht nur Textvorhersager.

Das Verständnis dieser Trainingsphasen ist für Prompt Engineering nützlich. Die Pre-Training-Phase erklärt das enorme, allgemeine Wissen des Modells, aber auch seine potenziellen Vorurteile, die aus den Rohdaten geerbt wurden. Die Fine-Tuning-Phase, insbesondere Instruction-Tuning und RLHF, erklärt, warum Modelle oft geschickt darin sind, Befehle zu befolgen und sich in hilfreichen Dialogen zu engagieren – sie wurden speziell dafür trainiert. Keine der beiden Phasen verleiht dem Modell jedoch echtes Bewusstsein oder reales Weltverständnis.

Nun, da wir einen Eindruck davon haben, wie LLMs gebaut und trainiert werden, betrachten wir, was passiert, wenn Sie ihm tatsächlich einen Prompt geben – die Inferenz-Phase (Inference). Hier nutzt das Modell sein gelerntes Wissen, um eine Antwort zu generieren.

Zunächst wird Ihr Eingabe-Prompt nicht direkt als ganze Wörter verarbeitet. Er wird in kleinere Einheiten zerlegt, die Tokens genannt werden. Tokens können ganze Wörter sein (wie „Katze“), Wortteile (wie „Ingenieur“ wird zu „Ingen“ und „ieur“), Satzzeichen oder sogar Leerzeichen. Die genaue Art der Tokenisierung hängt von der verwendeten Methode ab (wie Byte Pair Encoding oder WordPiece), aber die Kernidee ist, dass das Modell auf diesen numerischen Repräsentationen von Tokens operiert, nicht auf rohen Zeichen. Zum Beispiel könnte der Satz „Verstehen von LLMs“ in etwas wie ["Versteh", "en", " von", " L", "L", "Ms"] tokenisiert werden. Diese Tokenisierung ermöglicht es dem Modell, einen riesigen Wortschatz zu handhaben, einschließlich seltener Wörter oder sogar Tippfehler, indem sie diese in bekannte Untereinheiten zerlegt.

Sobald der Prompt tokenisiert ist, startet das Modell seinen Vorhersage-Loop. Im Kern ist das LLM ein mächtiger Next-Token-Predictor (Nächstes-Token-Vorhersager). Basierend auf der Sequenz von Tokens, die Ihren Prompt darstellen, berechnet das Modell eine Wahrscheinlichkeitsverteilung über alle möglichen Tokens in seinem Vokabular für das, als Nächstes kommen sollte. Denken Sie an die Autovervollständigungs-Vorschläge auf Ihrem Telefon, aber ungleich raffinierter und kontextbewusster. Es schaut nicht nur auf das letzte Wort; es betrachtet die gesamte Eingabesequenz (dank Mechanismen wie „Attention“ in der Transformer-Architektur, die es erlauben, die Wichtigkeit verschiedener Teile der Eingabe zu gewichten).

Das Modell wählt nicht immer einfach das einzelne wahrscheinlichste nächste Token. Dies würde oft zu sehr repetitivem und deterministischem Text führen. Stattdessen werden typischerweise verschiedene Sampling-Strategien (Abtaststrategien) eingesetzt. Parameter wie Temperature (Temperatur) steuern die Zufälligkeit der Ausgabe. Eine niedrige Temperatur macht das Modell fokussierter und deterministischer, meist wählt es die Token mit der höchsten Wahrscheinlichkeit. Eine höhere Temperatur erhöht die Zufälligkeit, erlaubt die Wahl weniger wahrscheinlicher Tokens, was potenziell zu kreativeren oder vielfältigeren Ausgaben führt, aber auch das Risiko unsinniger Ergebnisse erhöht. Andere Parameter (wie Top-k oder Top-p Sampling) verfeinern weiter, wie das nächste Token aus der Wahrscheinlichkeitsverteilung ausgewählt wird. Diese probabilistische Natur ist der Grund, warum Sie denselben Prompt mehrmals ausführen und leicht unterschiedliche Antworten erhalten können. Das Modell ruft keine feste Antwort ab; es generiert sie Token für Token basierend auf Wahrscheinlichkeiten.

Dieser Prozess wiederholt sich: Das gewählte Token wird an die Sequenz angehängt, und das Modell sagt das nächste Token basierend auf dieser neuen, leicht längeren Sequenz voraus. Dies geht so lange weiter, bis eine Stoppbedingung erfüllt ist – vielleicht generiert das Modell ein spezielles „End-of-Sequence“-Token, erreicht eine vordefinierte maximale Länge (die wir in Kapitel 10 besprechen werden) oder erfüllt die spezifischen Anweisungen im Prompt. Die resultierende Sequenz generierter Tokens wird dann wieder in menschenlesbaren Text umgewandelt und bildet die Antwort der KI.

Was „weiß“ ein LLM also tatsächlich? Es ist entscheidend, ihre Fähigkeiten von menschlicher Kognition zu unterscheiden. LLMs „wissen“ Dinge nicht so, wie Menschen es tun. Sie haben keine Überzeugungen, kein Bewusstsein und kein echtes Verständnis. Was sie besitzen, ist eine unglaublich raffinierte Fähigkeit, Muster zu erkennen und zu replizieren, die sie aus ihren Trainingsdaten gelernt haben.

Das bedeutet, ihr Wissen ist implizit in den Verbindungen (Parametern) enthalten, die während des Trainings gebildet wurden. Sie können oft Fakten abrufen, Konzepte erklären und sogar vernunftähnliches Verhalten zeigen, weil diese Muster in dem Text vorhanden waren, aus dem sie gelernt haben. Wenn unzählige Texte aussagten, dass Paris die Hauptstadt Frankreichs ist, lernte das Modell eine starke statistische Assoziation zwischen „Hauptstadt Frankreichs“ und „Paris“, was es ihm ermöglicht, die korrekte Antwort zu generieren, wenn es dazu aufgefordert wird.

Dieses Wissen hat jedoch erhebliche Einschränkungen. Eine große Einschränkung ist der Knowledge Cutoff (Wissensstand / Wissensgrenze). Das Modell weiß nur über Informationen Bescheid, die in seinen Trainingsdaten vorhanden waren, die bis zu einem bestimmten Zeitpunkt gesammelt wurden (z. B. Anfang 2023). Es hat grundsätzlich keinen Zugriff auf Ereignisse, Entdeckungen oder Informationen, die nach diesem Datum aufgetauchten, es sei denn, es ist mit externen Tools wie Live-Websuche integriert (was zunehmend häufiger wird, aber dem Kern-LLM nicht inhärent ist). Fragen zu sehr aktuellen Ereignissen könnten veraltete Informationen oder eine explizite Aussage über seine Wissensgrenze liefern.

Da ihnen zudem echtes Verständnis fehlt, können LLMs manchmal Ausgaben generieren, die plausibel klingen, aber faktisch falsch oder unsinnig sind. Dieses Phänomen wird oft Halluzination (Hallucination) genannt. Es geschieht, weil das Modell immer versucht, das nächste wahrscheinliche Token basierend auf den gelernten Mustern vorherzusagen. Wenn der Prompt mehrdeutig ist, es auf einen unbekannten Pfad führt oder an die Ränder seines Wissens stößt, könnte es Text generieren, der zum linguistischen Muster passt, aber nicht der Realität entspricht. Im Grunde macht es statistisch plausible Vermutungen, die sich als falsch herausstellen. Dies ist ein Hauptgrund, warum kritisches Denken und Faktencheck bei der Nutzung von LLM-Ausgaben unerlässlich bleiben.

Eine weitere kritische Einschränkung, die direkt aus den Trainingsdaten resultiert, ist Bias (Voreingenommenheit / Bias). Die riesigen Textmengen, die für das Pre-Training verwendet wurden, spiegeln die gesellschaftlichen Vorurteile wider, die im menschlichen Schreiben vorhanden sind – Vorurteile bezüglich Geschlecht, Rasse, Alter, Kultur und mehr. LLMs lernen diese unweigerlich und können sie in ihren Antworten perpetuieren. Während Techniken wie RLHF darauf abzielen, schädliche Biases zu mildern, sind sie keine perfekte Lösung. Das Bewusstsein für potenzielle Bias ist entscheidend für verantwortungsvolles Prompt Engineering und die Interpretation von LLM-Ausgaben (ein Thema, das wir in Kapitel 13 weiter untersuchen werden).

Schließlich denken Sie an die „literal actor“-Analogie (der wörtlich nehmende Schauspieler) aus der Einführung? Das Verständnis der Mechanik bekräftigt dies. LLMs erfassen Ihre zugrundeliegende Absicht, unausgesprochenen Annahmen oder gesunden Menschenverstand nicht, es sei denn, diese sind explizit ausgedrückt oder stark durch die Muster impliziert, die sie erkennen. Sie operieren auf dem Text, den Sie bereitstellen. Mehrdeutigkeit in Ihrem Prompt kann den probabilistischen Generierungsprozess auf unerwartete Pfade führen. Sie nehmen Ihre Worte wörtlich und verarbeiten sie durch die Linse ihrer gelernten statistischen Muster.

Warum ist das Eintauchen in diese Mechanik wichtig, um die Kunst des Sprechens mit KI zu meistern?

• Dass LLMs Mustererkennungs- und Vorhersagemaschinen sind, erklärt, warum Struktur, Formulierung und Schlüsselwörter in Ihrem Prompt so entscheidend sind. Sie legen im Wesentlichen das initiale Muster fest, das das Modell fortsetzen soll.
• Das Verständnis der Skalierung (Parameter und Daten) hilft, ihre Macht, aber auch ihre Komplexität zu schätzen. Es deutet an, warum Prompting oft Experimente erfordert – das Finden des richtigen Eingabemusters für ein so komplexes System ist nicht immer offensichtlich.
• Das Erkennen des Trainingsprozesses (Pre-Training, Fine-Tuning, RLHF) gibt Einblick, warum sie Anweisungen befolgen, warum sie breites Wissen besitzen und warum Ausrichtungsbemühungen (Alignment) wichtig, aber unvollkommen sind.
• Das Bewusstsein für die tokenweise probabilistische Generierung erklärt, warum Ausgaben variieren können und warum die Steuerung von Parametern wie Temperature (Kapitel 10) Kreativität versus Kohärenz beeinflussen kann. Es verdeutlicht auch, warum klare Anweisungen nötig sind, um diesen probabilistischen Prozess zuverlässig zu lenken.
• Das Verständnis der Einschränkungen (Wissensstand, Fehlen echten Verständnisses, Potenzial für Halluzination und Bias) unterstreicht die Notwendigkeit der kritischen Bewertung von Ausgaben und die Wichtigkeit, ausreichend Kontext und Constraints in Ihren Prompts bereitzustellen. Es bekräftigt, dass LLMs Werkzeuge sind, die gelenkt werden wollen, keine Orakel mit inhärenter Weisheit.

Wir haben in den Maschinenraum geblickt und ein grundlegendes Verständnis der Großen Sprachmodelle gewonnen, mit denen wir kommunizieren wollen. Sie sind keine magischen Black Boxes, sondern komplexe, datengetriebene Systeme, die auf statistischen Mustern basieren, die aus riesigen Textmengen gelernt wurden. Sie sind mächtige Sprachprozessoren, fähig zu bemerkenswerten Leistungen bei Textgenerierung, Übersetzung und Zusammenfassung, aber sie operieren basierend auf Vorhersage und Mustererkennung, ohne echtes Verständnis oder Bewusstsein.

Dieses Verständnis ist das Fundament, auf dem effektives Prompt Engineering aufbaut. Es informiert darüber, wie wir unsere Anfragen strukturieren sollten, welche Art von Informationen wir bereitstellen müssen und welche Erwartungen wir an die Antworten haben sollten. Mit diesem konzeptionellen Rahmen im Hinterkopf sind wir nun bereit, den nächsten logischen Schritt zu gehen: die Untersuchung des Kommunikationswerkzeugs selbst. Im nächsten Kapitel werden wir die Anatomie eines Prompts sezieren und die Schlüsselkomponenten erkunden, die es uns ermöglichen, diese mächtigen Sprachmaschinen effektiv zu steuern.