Kevin Scott, Chief Technology Officer von Microsoft, erwartet, dass KI-Systeme auf Basis großer Sprachmodelle weiter an Leistungsfähigkeit und Größe gewinnen und in Wissensarbeit, kreativen Aufgaben und wissenschaftlichen Anwendungen breiter eingesetzt werden. Als zentrale Punkte nennt er Produktivitäts- und Kreativitätsgewinne durch große Modelle und generative KI, mögliche Beiträge zu wissenschaftlichen Durchbrüchen sowie die Bedeutung von Cloud, Infrastrukturinvestitionen und Responsible AI, wenn solche Modelle als Plattformen bereitgestellt werden.
Zu den aus seiner Sicht wichtigen Entwicklungen des Jahres zählt Scott GitHub Copilot als System auf Basis eines Large Language Model, das natürlichsprachige Eingaben in Code umsetzt und die Produktivität von Entwicklerinnen und Entwicklern steigern soll. Außerdem verweist er auf generative Bildmodelle wie DALL·E 2, die breiter zugänglich geworden seien. Solche Systeme würden Nutzerinnen und Nutzern kein professionelles künstlerisches Niveau verleihen, aber neue visuelle Ausdrucksmöglichkeiten eröffnen. Als weiteren Bereich nennt er Fortschritte bei Protein Folding, unter anderem in Verbindung mit Arbeiten mit dem Labor von David Baker an der University of Washington und dem Institute for Protein Design rund um RoseTTAFold.
Für die Zeit danach erwartet Scott, dass sich das Prinzip von Copilot über das Programmieren hinaus auf weitere Formen geistiger Arbeit ausdehnt. Er beschreibt dies als Unterstützung bei repetitiven Teilen der Arbeit, etwa beim Schreiben und Überarbeiten, bei der Entwicklung neuer Moleküle für Medikamente oder bei der Erstellung von Fertigungsanweisungen aus 3D-Modellen. An einem eigenen experimentellen System auf Basis von GPT-3 zum Schreiben eines Science-Fiction-Buchs erläutert er, dass solche Werkzeuge für ihn längere kreative Arbeitsphasen ermöglichen und den Schreibprozess beschleunigen können.
Im Zusammenhang mit Arbeitszufriedenheit verweist Scott auf eine Microsoft-Studie, nach der der Einsatz von No-Code- oder Low-Code-Tools bei den Nutzenden zu mehr als 80 Prozent positiven Effekten auf Arbeitszufriedenheit, Gesamtarbeitslast und Moral geführt habe. Bei GitHub Copilot berichteten Entwicklerinnen und Entwickler zudem, dass das System helfe, im Flow zu bleiben und monotone sowie repetitive Aufgaben zu reduzieren.
Scott beschreibt KI außerdem als bereits tief in bestehende Microsoft-Produkte integriert. In Teams seien unter anderem Audio-Jitter-Buffer, Hintergrundunschärfe und weitere Funktionen durch Machine-Learning-Systeme geprägt. Ähnliche Ansätze nennt er für Outlook, prädiktiven Text in Word, Bing, Xbox Cloud Gaming und LinkedIn. Dabei habe sich laut Scott in den vergangenen zwei Jahren verändert, dass statt vieler auf Einzelaufgaben spezialisierter Modelle zunehmend ein einzelnes Modell in vielen Bereichen eingesetzt werde. Verbesserungen an solchen skalierten Modellen könnten dann mehreren Anwendungen gleichzeitig zugutekommen.
Bei Forschungs- und Wissenschaftsanwendungen verweist Scott auf Initiativen wie AI4Science und AI for Good. Er nennt als Anwendungsfelder unter anderem schwer behandelbare Krankheiten, Vorbereitung auf künftige Pandemien, bezahlbare hochwertige Gesundheitsversorgung, Bildung und Technologien zur Verringerung negativer Folgen von CO2-Emissionen. Die zugrunde liegenden Modelle hätten ähnliche Scaling-Eigenschaften wie große Sprachmodelle: Sie würden in selbstüberwachten Verfahren aus Simulationen oder Beobachtungen eines bestimmten Bereichs lernen und könnten die Leistung von Anwendungen etwa in der Computational Fluid Dynamics oder in der Molecular Dynamics für Drug Design deutlich verändern.
Als technische Grundlage der jüngsten Fortschritte bezeichnet Scott vor allem Skalierung. Modelle, die mit mehr Daten und mehr Rechenleistung trainiert werden, hätten ein breiteres und allgemeineres Fähigkeitsspektrum. Microsoft habe vor zwei Jahren seinen ersten Azure AI Supercomputer angekündigt und verfüge inzwischen nach eigener Einschätzung über mehrere der größten und leistungsstärksten KI-Supercomputing-Systeme. Diese Infrastruktur werde von Microsoft und OpenAI zum Training vieler großer Modelle genutzt, darunter Turing, Z-code und Florence bei Microsoft sowie GPT, DALL·E und Codex bei OpenAI. Zudem verweist Scott auf eine angekündigte Zusammenarbeit mit NVIDIA für einen Supercomputer auf Basis von Azure-Infrastruktur und NVIDIA-GPUs.
Neben größerer GPU-Rechenleistung hebt Scott die Software-Schicht hervor, die die Verteilung von Modellen und Daten über große Systeme für Training und Bereitstellung optimiert. Er nennt DeepSpeed zur Steigerung der Trainingseffizienz und ONNX Runtime für Inference. Diese Werkzeuge zielten auf Kosten- und Latenzoptimierung und sollten große KI-Modelle zugänglicher machen. Scott sagt zudem, Microsoft stelle diese Technologien als Open Source bereit.
Mit Blick auf Arbeit und Beschäftigung sagt Scott, dass sich die Art von Arbeit durch diese Systeme voraussichtlich grundlegend verändern werde, in manchen Bereichen stärker als in anderen. Zugleich könnten neue Berufe entstehen. Er betont den Bedarf an neuen Vorstellungen von Arbeit und Qualifikationen sowie daran, genügend Fachkräfte für wichtige Aufgaben auszubilden. Als Punkt der breiteren Zugänglichkeit nennt er, dass Entwicklerinnen und Entwickler heute etwa Azure Cognitive Services oder den Azure OpenAI Service nutzen und darauf komplexe Produkte aufbauen könnten, ohne selbst große Modelle von Grund auf trainieren zu müssen.
Zum Umgang mit Missbrauchs- und Schadensrisiken beschreibt Scott einen Responsible-AI-Prozess bei Microsoft. Dazu gehören laut ihm die Prüfung durch multidisziplinäre Teams, die Überarbeitung von Trainingsdaten, Filter zur Begrenzung schädlicher Inhalte, Query Blocking bei sensiblen Themen sowie Verfahren für hilfreichere und vielfältigere Antworten. Zudem gebe es Pläne, um nach dem Start nicht vorhergesehene Schäden möglichst schnell zu erkennen und zu mindern. Als weiteren Schutz nennt er eine bewusste, iterative Bereitstellung: API-Zugang sei an Nutzungsbedingungen gebunden, bei Verstößen könne der Zugang entzogen werden; andere Produkte könnten zunächst in begrenzten Vorschauen mit ausgewählten Kunden und klar definierten Anwendungsfällen starten. Microsoft teile dafür auch Ressourcen und Erfahrungen über den Responsible AI Standard und die Responsible AI Principles.
