Safetensors wird in die PyTorch Foundation eingebracht. Das von Hugging Face gestartete Open-Source-Projekt sollte von Beginn an eine Möglichkeit schaffen, Modellgewichte zu speichern und zu teilen, ohne dass dabei beliebiger Code ausgeführt werden kann. Hintergrund war, dass die im Ökosystem verbreiteten pickle-basierten Formate ein reales Risiko für die Ausführung schädlichen Codes mit sich brachten.
Das Format ist bewusst einfach aufgebaut: ein JSON-Header mit einer Obergrenze von 100 MB für Tensor-Metadaten, gefolgt von rohen Tensor-Daten. Hinzu kommen Zero-copy loading, bei dem Tensoren direkt von der Festplatte gemappt werden, sowie Lazy Loading, sodass einzelne Gewichte gelesen werden können, ohne einen gesamten Checkpoint zu deserialisieren.
Laut Hugging Face wird Safetensors heute als Standardformat für die Verteilung von Modellen auf dem Hugging Face Hub und anderen Plattformen genutzt. Es komme bei zehntausenden Modellen über verschiedene ML-Modaliäten hinweg zum Einsatz und habe sich in der Open-Source-ML-Community als bevorzugter Weg zum Teilen von Modellen etabliert.
Mit dem Wechsel in die PyTorch Foundation soll das Projekt eine herstellerneutrale organisatorische Basis erhalten. Marke, Repository und Governance liegen damit bei der Linux Foundation statt bei einem einzelnen Unternehmen. Die beiden Kern-Maintainer von Hugging Face, Luc und Daniel, bleiben im Technical Steering Committee und führen das Projekt weiterhin im Alltag, formal soll Safetensors aber der Community gehören, die es nutzt.
Für die große Mehrheit der Nutzer ändert sich nach Angaben von Hugging Face nichts: Format, APIs und Hub-Integration bleiben unverändert, es gibt keine Breaking Changes. Bereits heute im Safetensors-Format gespeicherte Modelle sollen weiterhin genauso funktionieren wie bisher.
Für Beitragende ist der Weg zum Maintainer nun formal dokumentiert und für die Community offen. Die Governance ist in den Dateien GOVERNANCE.md und MAINTAINERS.md im Repository festgehalten. Für Organisationen, die auf Safetensors aufbauen, soll die neutrale Governance unter dem Dach der Linux Foundation eine stabile, langfristige und gemeinschaftsgetragene Grundlage bieten.
Hugging Face und das PyTorch-Team arbeiten zudem daran, dass Safetensors innerhalb von PyTorch Core als Serialisierungssystem für Torch-Modelle genutzt werden kann. Auf der Roadmap stehen außerdem gerätebewusstes Laden und Speichern, sodass Tensoren direkt auf CUDA, ROCm und andere Beschleuniger geladen werden können, ohne unnötiges CPU-Staging.
Geplant sind auch First-Class-APIs für Tensor Parallel und Pipeline Parallel Loading, damit jeder Rank oder jede Pipeline-Stufe nur die jeweils benötigten Gewichte lädt. Darüber hinaus soll die Unterstützung für FP8, block-quantisierte Formate wie GPTQ und AWQ sowie Integer-Typen unterhalb eines Bytes formell ausgebaut werden. Nach Darstellung von Hugging Face handelt es sich dabei um Aufgaben, die das gesamte Ökosystem betreffen und innerhalb der PyTorch Foundation gemeinsam mit anderen gehosteten Projekten bearbeitet werden sollen.
Safetensors bleibt Open Source, Beiträge sind laut Hugging Face auf allen Ebenen willkommen, von Bug-Reports und Dokumentation bis zu neuen Funktionen und Beteiligung an der Governance.
