OpenAIs Decisions API im Test: Intent-Routing für Chatbots
Mein Routing-Test mit 30 Nachrichten, erneut mit OpenAIs neuer Decisions API, Jev, GPT-6 Luna und drei weiteren Modellen: Genauigkeit, Tempo, Kosten, Konfidenz.

Die Decisions API von OpenAI hat 29 meiner 30 Routing-Nachrichten richtig zugeordnet, und mit 0,18 Sekunden aus Deutschland war sie die schnellste Einstellung, die ich bisher gemessen habe. Jev hatte alle 30 richtig und war bei seinen langsameren Aufrufen gleichmäßiger, und beide kosteten gleich viel, 1,40 $ und 1,41 $ pro 100.000 Entscheidungen. Beide kosten etwa 45 % weniger als GPT-4.1 mini, das ebenfalls alle 30 richtig hatte, aber 0,75 Sekunden brauchte.
Die Decisions API von OpenAI war noch in der öffentlichen Beta, als ich diesen Test durchgeführt habe, und ist inzwischen allgemein verfügbar. Wie Jev schreibt sie keine Antwort. Sie geben ihr eine typisierte Frage, und sie liefert eine Auswahl mit einer Wahrscheinlichkeit für jede Option. Ich hatte Jev und sechs LLMs schon mit derselben kleinen Routing-Aufgabe getestet und wollte sehen, wie die neue API im Vergleich abschneidet. Ich habe dieselben 30 Nachrichten durch sie geschickt, noch einmal durch Jev und durch vier LLMs: GPT-6 Luna als Chatmodell, GPT-4.1 mini, GPT-5 nano und Gemini 3.1 Flash-Lite.
Wie in meinem ersten Test war der Konfidenzwert für meinen Workflow der nützlichste Teil. Jev gab den beiden vagen Nachrichten niedrige Werte und allen anderen hohe. Die Decisions API gab insgesamt niedrigere Werte. Ihr einziger Fehler hatte einen Wert, der niedrig genug war, dass ein Schwellenwert ihn abfangen konnte, aber nur, wenn der Schwellenwert für dieses Modell gewählt ist.
Was die Decisions API ist
Die Decisions API läuft auf GPT-6 Luna, das OpenAI sein effizientestes Modell für fokussierte Aufgaben mit hohem Volumen nennt. Sie hat einen eigenen Endpoint. Sie schicken eine Eingabe und eine Liste benannter Fragen. Jede Frage kann eine Ja/Nein-Bedingung sein, eine Auswahl zwischen Optionen oder eine Bewertung auf einer Skala. Sie zahlen nur für Input-Tokens, 0,10 $ pro Million. Output ist kostenlos.
Die API gibt es nicht bei OpenRouter. OpenRouter bietet GPT-6 Luna als Chatmodell an, aber nicht den Decisions-Endpoint. Deshalb habe ich OpenAI direkt mit meinem eigenen Schlüssel aufgerufen.
Bei dieser vagen Nachricht wählte die Decisions API „support“. Sie teilte die Nachricht 86 zu 14 auf und meldete eine Konfidenz von 0,72. Jev wählte ebenfalls „support“, war sich aber viel weniger sicher. Es teilte die Nachricht 65 zu 35 auf und meldete eine Konfidenz von 0,30.
Derselbe Test, ein zweites Mal
Ich habe dieselben 30 Nachrichten wie im ersten Test verwendet. Es sind 12 klare Erstattungsanfragen, 12 klare Support-Anfragen und 6 vage Nachrichten. Jede ist mit dem Zweig beschriftet, den ich wählen würde. Die LLMs bekamen wie zuvor denselben Prompt, der ein einziges Label verlangt, und ihre Antworten habe ich mit demselben Parser gelesen wie unser Workflow-Schritt. So ist jedes Ergebnis der Zweig, den der Workflow tatsächlich nehmen würde.
- GPT-6 Luna über die Decisions API bekam die Frage zweimal, einmal als Auswahl und einmal als Ja/Nein-Frage, ob der Besucher eine Erstattung möchte. Ein Entwickler im Forum von OpenAI fand ihre Ja/Nein-Antworten besser kalibriert als ihre Auswahlantworten, also habe ich beides getestet.
- Jev lief über seine eigene API, mit derselben Auswahlfrage wie im ersten Test.
- GPT-6 Luna als Chatmodell lief über OpenRouter, einmal mit Standard-Reasoning und einmal mit minimalem.
- GPT-4.1 mini und GPT-5 nano mit minimalem Reasoning waren die beiden LLMs, die im ersten Test alle 30 richtig hatten.
- Gemini 3.1 Flash-Lite ist ein kleines Modell von Google, das ich vorher noch nicht ausprobiert hatte.
Ich wollte auch Claude Haiku 5.5 aufnehmen, das gerade erschienen war. Die Guardrail meines OpenRouter-Schlüssels hat es blockiert, deshalb fehlt es in den Ergebnissen. Claude Haiku 5.5 und GPT-6 Luna sind beide in meinem Test von sechs Modellen mit 900 Support-Antworten dabei, der das Schreiben von Antworten untersucht statt das Routing. Die Tabelle unten zeigt die veröffentlichten Preise am Tag des Tests.
| Modell | Input, pro Million Tokens | Output, pro Million Tokens |
|---|---|---|
| Jev | 0,042 $ | Kostenlos |
| GPT-5 nano | 0,05 $ | 0,40 $ (Reasoning-Tokens werden als Output berechnet) |
| GPT-6 Luna, Decisions API | 0,10 $ | Kostenlos |
| GPT-6 Luna, Chat | 0,10 $ | 0,50 $ |
| Gemini 3.1 Flash-Lite | 0,25 $ | 1,50 $ |
| GPT-4.1 mini | 0,40 $ | 1,60 $ |
Ich habe alles aus Deutschland gemessen und wie im ersten Test einen Aufruf nach dem anderen gemacht. Diesmal bekam jede Einstellung zu Beginn einen zusätzlichen Aufruf, den ich nicht gezählt habe. Dieser Aufruf hat die Verbindung geöffnet. Die 30 gemessenen Aufrufe liefen dann über eine offene Verbindung, so wie sie es auf einem Server täten. Bei den LLMs sind die Kosten das, was OpenRouter berechnet hat. Bei den beiden Entscheidungs-APIs sind es die Input-Tokens multipliziert mit dem veröffentlichten Preis.
Ergebnisse
| Einstellung | Richtig | Medianzeit | Langsamste 5 % | Kosten pro 100.000 |
|---|---|---|---|---|
| Jev | 30 von 30 | 0,24 s | 0,27 s | 1,41 $ |
| GPT-4.1 mini | 30 von 30 | 0,75 s | 0,89 s | 2,52 $ |
| GPT-6 Luna, Chat, minimales Reasoning | 30 von 30 | 1,30 s | 2,88 s | 1,71 $ |
| GPT-6 Luna, Chat, Standard-Reasoning | 30 von 30 | 1,88 s | 2,36 s | 1,78 $ |
| GPT-6 Luna, Decisions API, Auswahl | 29 von 30 | 0,18 s | 0,90 s | 1,40 $ |
| GPT-6 Luna, Decisions API, Ja/Nein | 28 von 30 | 0,18 s | 0,73 s | 1,66 $ |
| Gemini 3.1 Flash-Lite | 27 von 30 | 10,47 s | 10,57 s | 1,34 $ |
| GPT-5 nano, minimales Reasoning | 26 von 30 | 0,95 s | 1,10 s | 1,03 $ |
Jev, GPT-4.1 mini und GPT-6 Luna als Chatmodell hatten auf beiden Reasoning-Stufen alle 30 Nachrichten richtig. Die Decisions API verfehlte eine Nachricht mit der Auswahlfrage und zwei mit der Ja/Nein-Frage. Gemini 3.1 Flash-Lite schickte drei der vagen Nachrichten zur Erstattung. GPT-5 nano fiel von 30 im ersten Test auf 26, obwohl Prompt und Einstellungen dieselben waren. Darauf komme ich weiter unten zurück.
Geschwindigkeit
- Jev und die Decisions API waren drei- bis zehnmal schneller als die Chatmodelle. Die Decisions API hatte einen Median von 0,18 Sekunden, Jev einen von 0,24 Sekunden. GPT-4.1 mini, GPT-5 nano und GPT-6 Luna als Chatmodell brauchten zwischen 0,75 und 1,88 Sekunden.
- Jev war gleichmäßiger. Seine langsamsten Aufrufe dauerten 0,27 Sekunden. Die langsamsten Aufrufe der Decisions API dauerten 0,90 Sekunden, und ihre Zeiten reichten von 0,09 bis 1,30 Sekunden.
- Minimales Reasoning machte bei GPT-6 Luna als Chatmodell wenig aus. Es verbrauchte immer noch etwa 16 Reasoning-Tokens, um ein einzelnes Wort zu liefern, gegenüber 18 bei der Standardeinstellung. Die Medianzeit sank von 1,88 auf 1,30 Sekunden, und die Genauigkeit blieb gleich.
- Die Zeiten von Gemini 3.1 Flash-Lite sagen wahrscheinlich mehr über den Anbieter als über das Modell. Vier Aufrufe kamen in unter einer Sekunde zurück, während 25 jeweils etwa 10,5 Sekunden dauerten. Eine so gleichmäßige Verzögerung deutet auf den Anbieter hin, den OpenRouter gewählt hat, deshalb habe ich es aus der Grafik weggelassen.
Kosten
Jede Einstellung kostete zwischen 1,03 $ und 2,52 $ pro 100.000 Entscheidungen. Das ist eine viel kleinere Spanne als im ersten Test, in dem GPT-5 nano und DeepSeek V4 Pro mit ihrem Standard-Reasoning mehr als 7 $ kosteten.
| Einstellung | Richtig | Pro 100.000 Entscheidungen | Pro Million Entscheidungen |
|---|---|---|---|
| GPT-5 nano, minimales Reasoning | 26 von 30 | 1,03 $ | 10,30 $ |
| Gemini 3.1 Flash-Lite | 27 von 30 | 1,34 $ | 13,38 $ |
| GPT-6 Luna, Decisions API, Auswahl | 29 von 30 | 1,40 $ | 14,04 $ |
| Jev | 30 von 30 | 1,41 $ | 14,10 $ |
| GPT-6 Luna, Decisions API, Ja/Nein | 28 von 30 | 1,66 $ | 16,61 $ |
| GPT-6 Luna, Chat, minimales Reasoning | 30 von 30 | 1,71 $ | 17,11 $ |
| GPT-6 Luna, Chat, Standard-Reasoning | 30 von 30 | 1,78 $ | 17,76 $ |
| GPT-4.1 mini | 30 von 30 | 2,52 $ | 25,23 $ |
- Die Decisions API berechnet auch ihre Fragevorlage. Sie zählte etwa 140 Input-Tokens pro Entscheidung. Der LLM-Prompt nutzte 54, und Jev zählte etwa 334. Die Decisions API verlangt mehr pro Token, während Jev mehr Tokens zählt. Am Ende kosten beide gleich viel.
- Weder Jev noch die Decisions API berechnen Output. Die Kosten hängen nur von der Länge der Anfrage ab, und das macht sie leicht vorherzusagen.
- Dasselbe Modell kostete als Chatmodell mehr. GPT-6 Luna kostete über OpenRouter 1,71 $ und über die Decisions API 1,40 $. Als Chatmodell schrieb es etwa 24 Tokens, um ein einzelnes Wort zu liefern. Die meisten davon waren Reasoning-Tokens.
- Die Ja/Nein-Frage kostete mehr als die Auswahl. Ihre Vorlage ist länger, deshalb kostete sie 1,66 $ statt 1,40 $.
Bei einer Million Entscheidungen im Monat würden Jev oder die Decisions API etwa 14 $ kosten und GPT-4.1 mini etwa 25 $. Aber wie im ersten Test sind die größeren Kosten ein Besucher, der auf den falschen Pfad geschickt wird. Diese Kosten stehen auf keiner Preisliste.
Konfidenz
Jev und die Decisions API liefern beide mit jeder Auswahl einen Konfidenzwert. Die Tabelle zeigt die Nachrichten, bei denen einer von beiden unter 0,8 lag, dem Schwellenwert, den ich im ersten Test verwendet habe.
| Nachricht | Jev | Decisions API, Auswahl |
|---|---|---|
| „this is not working and I paid for it“ | support, 0,30 | support, 0,72 |
| „I want to cancel“ | support, 0,60 | refund, 0,74 (mein Label: support) |
| „hello“ | support, 1,00 | support, 0,72 |
| „Can you explain how the token allowance is counted?“ | support, 1,00 | support, 0,78 |
Die Werte von Jev funktionierten wieder so, wie ich es mir erhofft hatte. Jede klare Nachricht erreichte 0,98 oder mehr, und nur die beiden vagen Nachrichten lagen unter 0,8. Die Werte der Decisions API waren insgesamt niedriger. Mit demselben Schwellenwert hätte sie viermal beim Besucher nachgefragt. Darunter wären eine klare Frage zum Token-Kontingent und ein einfaches „hello“ gewesen.
Ihre einzige falsche Antwort schickte „I want to cancel“ mit einer Konfidenz von 0,74 zur Erstattung. Ein Schwellenwert von 0,8 hätte daraus eine Rückfrage gemacht, sodass kein Besucher auf dem falschen Pfad gelandet wäre. Ein Schwellenwert von 0,7 hätte sie durchgelassen. Ich glaube daher nicht, dass ein Schwellenwert zu jedem Modell passt. Jedes Modell braucht seinen eigenen.
Auswahl oder Ja/Nein
Die Ja/Nein-Version der Frage half nicht. Bei „this is not working and I paid for it“ gab sie einer Erstattung eine Wahrscheinlichkeit von 0,51. Das ist fast ein Münzwurf, und er kippte die Nachricht zur Erstattung. Bei „hello“ verweigerte sie die Antwort. Bei „I want to cancel“ gab sie einer Erstattung eine Wahrscheinlichkeit von 0. Die Auswahlfrage hatte dieselbe Nachricht mit 87 % zur Erstattung geschickt.
Die Art, wie ich die Frage gestellt habe, hat also die Antwort verändert. Das geschah bei den vagen Nachrichten, und gerade die zählen am meisten. Das ist ein weiterer Grund, ein Entscheidungsmodell mit echten Nachrichten aus Ihrem eigenen Workflow zu testen, bevor Sie seinen Werten vertrauen.
Was sich seit dem ersten Test geändert hat
GPT-5 nano mit minimalem Reasoning hatte im ersten Test alle 30 richtig, diesmal aber nur 26, mit demselben Prompt und denselben Einstellungen. Drei seiner Fehler betrafen vage Nachrichten. Der vierte war „How do I connect my own tool server?“, das es zur Erstattung schickte. Jev und GPT-4.1 mini hatten wieder alle 30 richtig. Die zwei niedrigen Werte von Jev betrafen dieselben zwei vagen Nachrichten wie im ersten Test.
Mit einem Durchlauf pro Einstellung kann ich nicht sagen, ob sich GPT-5 nano verändert hat oder ob das eine normale Schwankung ist. Es zeigt mir aber, dass ein einziger Durchlauf nicht reicht, um sich darauf zu verlassen. Ich halte den Test jetzt als Skript bereit, damit ich ihn wiederholen kann, sobald sich ein Modell oder ein Preis ändert. OpenAI hat GPT-5 nano und GPT-4.1 mini inzwischen als veraltet markiert und plant, beide aus seiner API zu entfernen, und empfiehlt GPT-6 Luna als Ersatz für GPT-4.1 mini.
Was das für unseren Workflow bedeutet
Der Plan aus dem ersten Test hat sich nicht geändert. Ein Entscheidungsmodell soll eine optionale Möglichkeit werden, einen Entscheidungsschritt auszuführen. Es kommt mit einem Konfidenz-Schwellenwert und einem eigenen Zweig für den Fall, dass es unsicher ist. Dieser Test hat dem Plan ein paar Details hinzugefügt.
- Die Decisions API ist jetzt eine zweite Option. Sie kostete so viel wie Jev und war im Median schneller. In diesem Durchlauf war sie weniger gleichmäßig, und sie hatte eine Nachricht mehr falsch.
- Jedes Modell bekommt seinen eigenen Schwellenwert. Bei 0,8 wurde der Fehler der Decisions API zu einer Rückfrage, eine klare Nachricht aber auch. Die Werte von Jev ließen einen größeren Abstand zwischen klaren und vagen Nachrichten.
- Eine Verweigerung geht in den Zweig für unsichere Fälle. Die Ja/Nein-Frage verweigerte bei „hello“ die Antwort. Der Workflow sollte eine Verweigerung nie als seinen ersten Zweig behandeln.
- Die Datenfrage ist leichter zu beantworten. Laut dem Leitfaden von OpenAI kann die Decisions API Daten in Europa verarbeiten, zu einem höheren Preis, was ich noch nicht ausprobiert habe. Die API von Jev läuft in den USA.
Die Grenzen aus dem ersten Test gelten weiterhin. Der Test nutzte 30 englische Nachrichten und einen Durchlauf pro Einstellung, alle von einem Ort aus gemessen. Außerdem hat die Decisions API die Beta verlassen, seit ich den Test durchgeführt habe. Ihr Preis pro Input-Token ist derselbe, aber ihre Geschwindigkeit kann sich geändert haben.
Häufige Fragen
Gibt es die Decisions API von OpenAI bei OpenRouter?
Nein, die Decisions API gibt es nicht bei OpenRouter, das GPT-6 Luna nur als Chatmodell anbietet, zu 0,10 $ pro Million Input-Tokens und 0,50 $ pro Million Output-Tokens. Der Decisions-Endpoint ist nur über die eigene API von OpenAI verfügbar, Sie brauchen also einen OpenAI-Schlüssel.
Ist die Decisions API beim Intent-Routing genauer als Jev?
Nein, in diesem Test war sie etwas weniger genau als Jev. Jev hatte 30 von 30 richtig, die Decisions API mit einer Auswahlfrage 29 von 30. Beide kosteten etwa 1,40 $ pro 100.000 Entscheidungen. Die Decisions API war im Median schneller, mit 0,18 gegenüber 0,24 Sekunden. Jev war bei seinen langsamsten Aufrufen gleichmäßiger.
Was kostet eine Routing-Entscheidung mit der Decisions API?
In diesem Test kostete sie 1,40 $ pro 100.000 Entscheidungen, also etwa 14 $ pro Million. Die API berechnet nur Input-Tokens, zu 0,10 $ pro Million, und dieser Preis blieb gleich, als sie die Beta verließ. Jede Frage hier nutzte etwa 140 davon.
Sollte ich eine Auswahlfrage oder eine Ja/Nein-Frage stellen?
Für die Wahl zwischen zwei Pfaden schnitt die Auswahlfrage in diesem Test besser ab. Sie hatte 29 von 30 richtig gegenüber 28 und verweigerte nie die Antwort. Die Ja/Nein-Frage lieferte bei einer vagen Nachricht einen Münzwurf und verweigerte bei einer anderen die Antwort. Was Sie auch nutzen, behandeln Sie eine Verweigerung als unsicher.
Fazit
Nach zwei Runden desselben Tests bin ich hier gelandet.
| Wenn Sie das möchten | Nutzen Sie | Warum |
|---|---|---|
| Genaues Routing und einen Konfidenzwert, auf den Sie sich stützen können | Jev | Es hatte 30 von 30 richtig, in 0,24 Sekunden, zu 1,41 $ pro 100.000. Seine Werte markierten die beiden vagen Nachrichten und sonst nichts. |
| Die schnellste Antwort | Die Decisions API von OpenAI, mit einer Auswahlfrage | Sie antwortete im Median in 0,18 Sekunden, zu 1,40 $ pro 100.000. Sie hatte 29 von 30 richtig, und ihr Schwellenwert muss für dieses Modell eingestellt werden. |
| Ein LLM, das Sie schon nutzen | GPT-4.1 mini oder GPT-6 Luna als Chatmodell | Beide hatten 30 von 30 richtig. Luna war günstiger, 1,71 $ gegenüber 2,52 $, aber langsamer, 1,30 gegenüber 0,75 Sekunden, und OpenAI plant, GPT-4.1 mini einzustellen. |
| Den niedrigsten Preis | GPT-5 nano oder Gemini 3.1 Flash-Lite, mit Vorsicht | GPT-5 nano und Gemini 3.1 Flash-Lite kosteten 1,03 $ und 1,34 $ pro 100.000, verfehlten in diesem Durchlauf aber vier und drei Nachrichten, und OpenAI plant, GPT-5 nano einzustellen. |
Für den Entscheidungsschritt in ChatFrom würde ich mit Jev als Entscheidungsmodell beginnen. Die Decisions API folgt knapp dahinter, und jetzt, da sie die Beta verlassen hat, plane ich, sie erneut zu testen. Bei beiden werde ich den Schwellenwert für das jeweilige Modell festlegen. Alles Unklare wird dann zu einer Rückfrage an den Besucher.
Die Kosten haben das nicht entschieden. Jev, GPT-6 Luna als Chatmodell und GPT-4.1 mini, die Einstellungen mit allen 30 richtig, kosteten zwischen 1,41 $ und 2,52 $ pro 100.000 Entscheidungen, also etwa 14 $ bis 25 $ pro Million. Der echte Unterschied ist, was passiert, wenn ein Wert niedrig ist. Ein Workflow, der an dieser Stelle beim Besucher nachfragt, vermeidet den falschen Pfad, und das ist mehr wert als jede Ersparnis bei den Tokens.
Mit ChatFrom bauen Sie solche Workflows visuell, mit einem Entscheidungsschritt, einem Zweig für jeden Intent und einer Rückfrage, wenn die Anfrage des Besuchers geklärt werden muss. Der Abonnement-Workflow ist ein Beispiel dafür: Dort schickt ein Entscheidungsschritt eine Kündigung und eine Frage zur Abrechnung auf verschiedene Pfade. Sie können im kostenlosen Hobby-Tarif beginnen, mit 50 Credits im Monat und ohne Kreditkarte, und auf der Preisseite sehen, was Pro für 29 $ im Monat und Business für 49 $ im Monat enthalten, oder auf der Vergleichsseite, wie ChatFrom im Vergleich mit anderen Chatbot-Plattformen abschneidet.