Microsoft Research beschreibt mit AutoAdapt ein automatisiertes, constraint-aware Framework für die Domain-Adaption von Large Language Models. Ausgehend von einem Aufgaben-Ziel, verfügbaren Domänendaten und praktischen Anforderungen wie Genauigkeit, Latenz, Hardware und Budget erstellt das System eine gültige Adaptions-Pipeline, wählt zwischen Ansätzen wie RAG und mehreren Fine-Tuning-Methoden und stimmt zentrale Hyperparameter in einer budgetbewussten Schleife ab.
Als Ausgangsproblem nennt der Beitrag, dass die Anpassung allgemeiner Modelle an spezialisierte, risikoreiche Einsatzbereiche wie Recht, Medizin oder Cloud-Incident-Response heute oft langsam, teuer und schwer reproduzierbar ist. Teams müssen zwischen Verfahren wie Retrieval-Augmented Generation, supervised fine-tuning, parameter-effizienten Methoden wie LoRA und zusätzlichen Alignment-Schritten wählen. Diese Entscheidungen greifen ineinander, nicht jede Kombination ist gültig, und die Kosten für LLM-Training begrenzen die Zahl der ausprobierbaren Konfigurationen.
AutoAdapt behandelt diese Aufgabe als constrained planning problem. Das System nimmt ein in natürlicher Sprache formuliertes Ziel sowie Angaben zu Datensatzgröße und -format und zu Grenzen bei Latenz, Hardware, Datenschutz und Kosten entgegen. Daraus entsteht eine End-to-End-Pipeline, die sich ausführen und deployen lässt.
Eine zentrale Komponente ist der Adaptation Configuration Graph (ACG). Er bildet den Konfigurationsraum strukturiert ab, soll eine effiziente Suche ermöglichen und dabei sicherstellen, dass nur gültige Pipelines erzeugt werden. Darauf aufbauend nutzt AutoAdapt einen Planning Agent, der Strategien vorschlägt, sie gegen die Anforderungen der Nutzenden prüft und den Plan iterativ anpasst, bis er praktikabel und begründet ist. Laut Beschreibung entstehen so ausführbare Workflows mit Parameterbereichen, statt einer Optimierung in einem unbeschränkten Black-Box-Verfahren.
Für die Abstimmung der Hyperparameter führt das Framework AutoRefine ein, eine budget-aware refinement loop. Diese wählt gezielt die nächsten Experimente aus, auch wenn nur begrenztes Feedback vorliegt. Der Beitrag beschreibt dies als Ersatz für lange manuelle Tuning-Iterationen durch einen reproduzierbareren Prozess, der sich leichter prüfen und zwischen Projekten vergleichen lässt.
In den Experimenten identifizierte AutoAdapt laut Microsoft Research durchgängig wirksame Adaptionsstrategien und erzielte Verbesserungen über verschiedene Benchmark- und Praxisaufgaben hinweg, darunter Reasoning, Question Answering, Coding, Klassifikation und Cloud-Incident-Diagnose. Die Kombination aus constraint-aware planning und budgetierter Verfeinerung soll dabei besser performende Konfigurationen mit geringem zusätzlichem Zeit- und Kostenaufwand finden. Konkrete Zahlen werden im hier vorliegenden Text nicht genannt; verwiesen wird auf aggregierte Ergebnisse in den Abbildungen 2 und 3.
Microsoft Research ordnet AutoAdapt als Schritt zu einer stärker systematischen, nachvollziehbaren Domain-Adaption ein, bei der festgelegt wird, was angepasst werden soll, wie die Anpassung erfolgt und welche Constraints das System einhalten muss. Das sei besonders in Bereichen relevant, in denen Abweichungen vom vortrainierten Wissen häufig sind und Fehler hohe Kosten verursachen können, etwa bei klinischer Dokumentation, Support-Triage oder der Zusammenfassung regulatorischer Sprache.
Das Framework soll als Open Source veröffentlicht werden. Eine README-Datei mit Installations- und Quick-Start-Hinweisen wird ebenfalls genannt.
