Choco setzt OpenAI-APIs im Kern seiner Plattform ein, um Bestellprozesse in der Lebensmittel- und Getränkedistribution zu automatisieren. Das Unternehmen bedient nach eigenen Angaben mehr als 21.000 Distributoren und 100.000 Einkäufer in den USA, im Vereinigten Königreich, in Europa und in den GCC-Staaten.
Ein zentrales Problem war, dass Bestellungen weiterhin über E-Mails, Textnachrichten, Voicemails, Bilder und handschriftliche Notizen eingingen. Teams mussten diese Eingaben manuell in strukturierte ERP-Bestellungen übertragen. Laut Choco lag die eigentliche Schwierigkeit dabei nicht nur in der Erfassung, sondern im impliziten Kontext, etwa bei kundenspezifischen SKU-Zuordnungen, bevorzugten Einheiten und Liefermustern. Dieses Wissen sei bisher stark an einzelne Mitarbeitende gebunden gewesen und müsse in Inferenzschichten abgebildet werden, die Mehrdeutigkeiten bereits bei der Auftragserfassung auflösen.
Mit produktionsreifen LLMs entwickelte Choco nach eigenen Angaben seine Plattform von Workflow-Software hin zu Systemen weiter, die Arbeit direkt ausführen können. Dafür führte das Unternehmen OrderAgent ein, der multimodale Eingaben wie E-Mails, SMS, Bilder und Dokumente verarbeitet und in strukturierte, ERP-fähige Bestellungen umwandelt. Die technische Herausforderung lag laut Choco vor allem im Aufbau einer dynamischen In-Context-Learning-Infrastruktur, damit das System Mehrdeutigkeiten anhand der Bestellhistorie und des Katalogs eines Kunden auflösen kann.
Zusätzlich hat Choco mit VoiceAgent ein System auf Basis von OpenAIs Realtime API aufgebaut. Damit können Kunden Bestellungen natürlich per Telefon aufgeben, auch außerhalb der Geschäftszeiten. Genannt wird dabei eine Latenz im Subsekundenbereich.
Als Gründe für die Wahl von OpenAI nennt Choco die Modellleistung, multimodale Fähigkeiten, strukturierte Ausgaben und die Zuverlässigkeit im produktiven Einsatz in großem Maßstab. Die Möglichkeit, Text, Vision und Audio in einem einzigen Ökosystem zu verarbeiten, habe es erlaubt, zuvor getrennte Workflows in einem System zusammenzuführen.
Die Implementierung erfolgte laut Unternehmen schnell und skalierbar über OpenAI-SDKs und -APIs. In die bestehende Infrastruktur wurden unter anderem Speech-to-Text, Embeddings und Function Calling integriert. Ergänzend baute Choco ein Evaluations-Framework mit Ground-Truth-Datensätzen, kontinuierlichem Monitoring und A/B-Tests auf, um Genauigkeit und Leistung im Produktivbetrieb zu prüfen.
Die Einführung sollte ohne Änderungen im Bestellverhalten der Kunden funktionieren. Das System passt sich laut Choco an bestehende Eingangswege wie Telefon, Textnachrichten und E-Mail an, statt neue Abläufe vorzugeben.
Als Ergebnisse nennt Choco mehr als 8,8 Millionen verarbeitete Bestellungen pro Jahr, über 200 Milliarden im Produktivbetrieb verarbeitete KI-Tokens, eine Reduktion der manuellen Auftragserfassung um bis zu 50 Prozent sowie eine Verdopplung der Produktivität im Vertrieb ohne zusätzlichen Personalaufbau. Zudem würden Fehlerraten unter 1 bis 5 Prozent gehalten, abhängig von konfigurierbaren Automatisierungsschwellen. Genannt wird außerdem eine durchgehende Bestellannahme rund um die Uhr.
Aus der Umsetzung leitet Choco mehrere praktische Punkte ab: Die Evaluierung sollte vom ersten Tag an beginnen; bereits kleine Ground-Truth-Datensätze mit 10 bis 20 Beispielen könnten Fortschritte messbar machen. Für den Betrieb seien AI-native Observability und die Erfassung von Modell-Eingaben, Ausgaben und Reasoning-Traces wichtig, weil klassische Logs allein nicht ausreichten. Außerdem verweist das Unternehmen darauf, dass LLMs im Unterschied zu deterministischer Software probabilistisch arbeiten und dass diese Eigenschaft früh gegenüber Teams und Nutzern vermittelt werden sollte.
Choco will seine KI-Fähigkeiten im Ökosystem der Lebensmitteldistribution weiter ausbauen und Agenten stärker in komplexe operative Workflows einbinden. Zugleich beschreibt das Unternehmen eine neue Nutzergruppe von Nicht-Ingenieuren, die als „Agent Orchestrators“ intelligente Systeme entwerfen und steuern. Geplant ist, den Einsatz der OpenAI-APIs weiter auf autonomere und kontextbewusstere Systeme in Vertrieb, Handel und Supply-Chain-Abläufen auszuweiten.
