Hugging Face zu KI-Cybersicherheit: Offenheit als Systemfrage statt Modellfrage

Mythos wird als Frontier-AI-Modell beschrieben, dessen besondere Bedeutung nicht im Modell allein liegt, sondern in dem System, in das es eingebettet ist. Entscheidend sei eine Kombination aus erheblicher Rechenleistung, auf softwarebezogenen Daten trainierten Modellen, Scaffolding für das Aufspüren und Schließen von Schwachstellen, hoher Geschwindigkeit sowie einem gewissen Grad an Systemautonomie. Diese Kombination könne Software-Schwachstellen finden, Exploits identifizieren und Patches erzeugen; Nutzen und Risiken entstünden dabei aus dem Gesamtsystem, nicht aus einem einzelnen Modell.

Der Text betont, dass auch andere vergleichbare Systeme bauen können. Kleinere Modelle, eingebettet in Systeme mit tiefem Sicherheitswissen, könnten ähnliche Ergebnisse möglicherweise kostengünstiger erzielen, was insbesondere für die Verteidigung relevant sei. KI-Fähigkeiten in der Cybersicherheit seien dabei ungleichmäßig ausgeprägt und skalierten nicht einfach mit Modellgröße oder allgemeiner Benchmark-Leistung; die Einbettung des Modells in ein konkretes System spiele eine wesentliche Rolle.

Mit Mythos sei gezeigt worden, dass sich ein KI-System bauen lässt, das Software-Schwachstellen findet und bearbeitet. Solche Ansätze seien bereits bekannt, ihre Bedeutung werde aber im Kontext agentischer KI neu verhandelt, also bei Systemen, die schnell und autonom handeln können.

Wenn autonome Systeme zur Erkennung von Schwachstellen zunehmen, könnten offener Code und offene Werkzeuge dazu beitragen, das Feld auszugleichen. Softwaresicherheit werde als Geschwindigkeitswettlauf über vier Phasen beschrieben: Erkennung, Verifikation, Koordination und Verbreitung von Patches. Offene Ökosysteme verteilten diese Aufgaben auf eine Gemeinschaft, während stärker geschlossene Projekte Wissen und Handeln über alle vier Phasen hinweg bei einem einzelnen Anbieter bündelten. Als Beispiele für offene Sicherheitsgemeinschaften nennt der Beitrag das Linux-kernel-Sicherheitsteam, die Open Source Security Foundation und das Team von Hugging Face für Modell- und Supply-Chain-Sicherheit.

Das Argument proprietärer Abschottung durch nicht zugänglichen Code biete laut dem Text weniger Schutz als früher. KI-Systeme könnten zunehmend beim Reverse Engineering von stripped binaries helfen. Das sei relevant, weil viel ältere Firmware und Embedded Code geschlossen, nur als Binärdatei verfügbar und nicht mehr gepflegt seien. Dieser Code bilde eine große Angriffsfläche und werde mit besseren KI-Werkzeugen leichter lesbar und zugänglich.

Ein weiteres Risiko sieht der Beitrag in der Nutzung von KI in geschlossenen Codebasen. Wenn Unternehmen KI-Coding-Tools unter falschen Anreizen einsetzen, etwa wenn Entwickler nach ausgelieferten Features statt nach Codequalität bewertet werden, könne KI-beschleunigte Entwicklung mehr Schwachstellen in proprietären Code einbringen als traditionelle Entwicklung. Diese Schwachstellen lägen dann in einer geschlossenen Codebasis, in der nur eine Organisation sie finden und beheben könne, während KI-gestützte Angreifer sie von außen zunehmend entdecken könnten.

Darunter liege eine Fähigkeitsasymmetrie zwischen Angreifern und Verteidigern. Offene Modelle und offene Werkzeuge könnten diese Lücke verkleinern, indem sie Verteidigern Zugang zu ähnlichen Fähigkeiten geben, die sonst bei wenigen gut ausgestatteten Akteuren konzentriert wären.

Für die Verteidigung beschreibt der Text ein Zusammenspiel von Open Source und KI-Agenten als besonders relevant. Aus der System Card gehe hervor, dass Mythos nahe an voller Autonomie operieren könne; von solcher weitgehenden Autonomie habe Hugging Face wegen möglicher Kontrollverluste abgeraten. Als günstigeres Verhältnis von Nutzen und Risiko werden stattdessen halbautonome Systeme beschrieben, bei denen zulässige Aktionen vorab festgelegt sind und bestimmte Schritte menschliche Freigabe benötigen. In solchen Systemen blieben Menschen in Kontrolle, während der KI-Agent bestimmte Teilaufgaben übernehme.

Dieser Ansatz lasse sich mit offenem Code umsetzen, den Organisationen privat in ihrer eigenen Umgebung betreiben können, einschließlich Vorgaben zu erlaubten Tools, Fähigkeiten und Zugriffsrechten. So könnten KI-Agenten defensiv eingesetzt werden, um Schwachstellen zu finden und beim Patchen unter organisationsinternen Kontrollen zu helfen.

Voraussetzung für halbautonome Systeme sei, dass Menschen nachvollziehen können, was ein KI-Agent getan hat und warum. Das sei mit offenen Komponenten wie offenem Agent-Scaffolding, offenen Rule Engines sowie auditierbaren Entscheidungsprotokollen und Traces eher möglich als bei Black-Box-Systemen. Ein Human in the loop sei nur sinnvoll, wenn der Mensch Einblick in diesen Ablauf habe.

Unternehmen müssten diese Fähigkeiten nicht vollständig selbst aufbauen. Der Beitrag verweist auf ein breites Open-Source-Ökosystem aus Sicherheitstools, darunter Vulnerability Scanner, Intrusion Detection Systems, Log Analyzer und Fuzzing-Frameworks, mit denen sich KI-Agenten integrieren lassen.

Für Organisationen mit hohen Anforderungen bedeute ein offenes, auditierbares Fundament, dass Sicherheitsteams ihre Überwachungsmechanismen selbst prüfen können, statt Aussagen eines einzelnen Anbieters zu vertrauen. Das sei besonders wichtig bei sensiblen Daten und Prozessen, die grundsätzlich nicht durch externe KI-Anbieter laufen sollten. Offene Systeme könnten von internen Sicherheitsteams analysiert, auf eigenen geschützten Daten fine-tuned, für organisationsspezifische Kontrollmechanismen angepasst und vollständig in der eigenen Infrastruktur betrieben werden.

Angreifer würden Modelle entwickeln, die Schwachstellen ausnutzen. Als Teil der Antwort nennt der Text transparente Praktiken wie offene Sicherheitsprüfungen, veröffentlichte Threat Models, gemeinsame Schwachstellen-Datenbanken und offene Werkzeuge, die jedes Team übernehmen kann. Die Alternative, dass jede Organisation isoliert mit proprietären Werkzeugen für sich selbst Sicherheit herstellt, skaliere laut Beitrag nicht gegen Angreifer, die sich ebenfalls koordinieren und Techniken austauschen.

Die künftige KI-Cybersicherheit werde daher weniger von einzelnen Modellen als von den umgebenden Ökosystemen geprägt. Offenheit soll Verteidigern Sichtbarkeit, Kontrolle, Gemeinschaft und gemeinsame Infrastruktur geben.

Quelle

Originalquelle: Hugging Face Blog

Aktuelle Artikel

spot_img

Ähnliche Artikel

Leave A Reply

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein

Bleib auf dem Laufenden – Hol dir die täglichen Nachrichten direkt in deinen Posteingang