Zum Inhalt springen

Jev und sechs LLMs im Test: Intent-Routing für Chatbots

Jev und sechs LLMs von OpenAI, Anthropic und DeepSeek im Test mit 30 Chatbot-Nachrichten: was ich über Genauigkeit, Tempo, Kosten und Konfidenz gelernt habe.

Von , GründerAktualisiert am 14 Min. Lesezeit
Das Titelbild zeigt den englischen Titel „Testing Jev and six LLMs“ mit der Zeile „On 30 chatbot messages“ darunter, auf grau-cremefarbenem Hintergrund mit feinen, sich kreuzenden Linien.

Jev, ein Modell für Entscheidungen, war bei einer kleinen, aber wichtigen Chatbot-Aufgabe so genau wie die besten LLMs in meinem Test. Die Aufgabe ist zu erkennen, ob ein Besucher eine Erstattung möchte oder Support braucht. Jev ordnete alle 30 Testnachrichten richtig zu, genau wie GPT-5 nano und GPT-4.1 mini. Claude Haiku 4.5 verfehlte eine Nachricht, beide DeepSeek-V4-Modelle mindestens zwei und Claude 3 Haiku acht.

Am meisten interessierte mich, was Jev zusätzlich zu seiner Antwort lieferte. Bei offen gehaltener Verbindung antwortete es in etwa einem Drittel der Zeit, die GPT-4.1 mini und GPT-5 nano brauchten. Es kostete 1,41 $ pro 100.000 Entscheidungen und lag damit zwischen GPT-5 nano mit 1,03 $ und GPT-4.1 mini mit 2,52 $. Außerdem lieferte es zu jeder Entscheidung einen Konfidenzwert, was in diesem Test keines der LLMs tat. Damit hatte ich einen Weg, Nachrichten zu erkennen, bei denen eine Rückfrage an den Besucher mehr bringen könnte als die Wahl eines Zweigs.

Ich betreibe ChatFrom, wo Unternehmen die Unterhaltungen ihres Chatbots als Workflows aufbauen. Ein Schritt entscheidet, welchen Zweig die Nachricht eines Besuchers nimmt. Heute übernimmt das ein LLM. Mit diesem Test wollte ich herausfinden, ob ein Entscheidungsmodell helfen könnte und was ich sonst noch am Workflow ändern müsste.

Was Intent-Routing in einem Chatbot-Workflow ist

Intent-Routing bedeutet, die Nachricht eines Besuchers zu lesen und einen von wenigen festgelegten Pfaden zu wählen. Möchte jemand sein Geld zurück, folgt der Chatbot dem Erstattungspfad: nach der Bestellnummer fragen, das Erstattungs-Tool aufrufen und antworten. Braucht jemand Hilfe, folgt er dem Support-Pfad. Der Router selbst schreibt keine Antwort. Er entscheidet nur, was als Nächstes passiert.

Diesen Workflow habe ich getestet.WORKFLOW
So ist der Workflow in ChatFrom eingerichtet. Der Entscheidungsschritt liest die Nachricht und wählt einen von zwei Zweigen. In der aktuellen Umsetzung nimmt er außerdem den ersten Zweig, mit „Sonst“ gekennzeichnet, wenn die Antwort zu keinem Label passt.

In ChatFrom trifft diese Wahl derzeit ein kleines LLM. Der Prompt verlangt genau ein Label, und der Code gleicht die Antwort mit den Namen der Zweige ab.

Dreißig Nachrichten, eine Frage und sieben Modelle

Ich habe 30 Nachrichten geschrieben, wie sie plausibel in einem Support-Postfach ankommen könnten, und jeder das Label des Zweigs gegeben, den ich wählen würde. 24 davon sind klare Anliegen, je 12 für jeden Pfad. Die übrigen 6 sind absichtlich vage. Ich habe sie aufgenommen, um zu sehen, was passiert, wenn der Besucher nicht ganz gesagt hat, was er braucht.

ArtAnzahlBeispiele
Klar, Erstattung12„I was charged twice this month, I want my money back“, „Refund“
Klar, Support12„I can’t log in, the magic link never arrives“, „My uploaded PDF is stuck on indexing“
Vage6„this is not working and I paid for it“, „I want to cancel“, „hello“

Jede Nachricht ging an jedes der sieben Modelle, mit derselben Frage: What does the visitor want: a refund, or help from customer support? Das sind die Teilnehmer.

  1. GPT-5 nano ist das kleinste Modell der GPT-5-Familie von OpenAI. Es ist ein Reasoning-Modell, deshalb habe ich es zweimal getestet: einmal mit dem Reasoning-Aufwand auf minimal und einmal mit seiner Standardeinstellung.
  2. GPT-4.1 mini ist ein kleines Modell von OpenAI, das ohne eigene Reasoning-Phase antwortet.
  3. Claude Haiku 4.5 ist das kleine Modell von Anthropic. Dazu habe ich Claude 3 Haiku aufgenommen, seinen Vorgänger von 2024, den OpenRouter zum Zeitpunkt des Tests noch zu einem Viertel des Preises anbot.
  4. DeepSeek V4 Flash und DeepSeek V4 Pro sind das kleine und das große V4-Modell. Beide nutzen standardmäßig Reasoning. Ich habe jedes zweimal laufen lassen, mit seinem Standard-Reasoning und mit abgeschaltetem Reasoning.
  5. Jev (Version 1.13) ist ein Entscheidungsmodell von TypeSafe. Statt es eine Antwort schreiben zu lassen, schicken Sie ihm einen Zustand und eine typisierte Frage. Es gibt eine Wahl zurück, eine Wahrscheinlichkeit für jede Option und einen Konfidenzwert.

Ich habe vor allem kleine Modelle gewählt, weil dieser Schritt bei jeder Nachricht läuft, bevor der Chatbot antworten kann. Für eine Entscheidung aus einem Wort wollte ich Wartezeit und Kosten niedrig halten. DeepSeek V4 Pro war das einzige große Modell im Test. Es war hier die langsamste und teuerste Option und nicht genauer als sein kleiner Bruder.

Zum Vergleich die veröffentlichten Preise am Tag des Tests.

ModellInput, pro Million TokensOutput, pro Million Tokens
DeepSeek V4 FlashAb 0,036 $Ab 0,071 $ (jeder Hosting-Anbieter legt seinen eigenen Preis fest)
Jev0,042 $Kostenlos
GPT-5 nano0,05 $0,40 $ (Reasoning-Tokens werden als Output abgerechnet)
Claude 3 Haiku0,25 $1,25 $
GPT-4.1 mini0,40 $1,60 $
DeepSeek V4 ProAb 0,42 $Ab 0,85 $
Claude Haiku 4.51,00 $5,00 $

Was die sechs LLMs bekommen

Der Prompt des Workflow-SchrittsChat
system: Answer with exactly one of these labels and nothing else: refund, support

user: What does the visitor want: a refund, or help from customer support?

      Message: this is not working and I paid for it
Die ganze AntwortChat
assistant: support

Die Antwort gibt dem Workflow einen Zweig vor, aber keinen Hinweis darauf, wie unsicher diese Wahl sein könnte.

Was Jev bekommt und was es zurückgibt

AnfrageHTTP
POST https://api.typesafe.ai/v1/systemone
{
  "model": "jev-latest",
  "state": "this is not working and I paid for it",
  "questions": {
    "route": {
      "type": "choice",
      "instructions": "What does the visitor want: a refund, or help from customer support?",
      "criteria": {
        "refund": "The visitor wants money back",
        "support": "The visitor needs help from customer support"
      }
    }
  }
}
Antwort auf dieselbe vage NachrichtJSON
{
  "model": "jev-1.13.0",
  "answers": {
    "route": {
      "type": "choice",
      "choice": "support",
      "confidence": 0.21,
      "probabilities": { "refund": 0.39, "support": 0.61 }
    }
  },
  "usage": { "input_tokens": 336, "output_tokens": 31 }
}

Auch Jev wählt „support“. Dazu meldet es eine Aufteilung von 61 zu 39 und einen Konfidenzwert von 0,21. Damit hat der Workflow ein Signal, um innezuhalten und den Besucher zu fragen, was er meint.

Gemessen habe ich den vollständigen Hin- und Rückweg von Deutschland aus, mit Aufrufen nacheinander für jedes Modell. Jev lief über seine eigene API, alle LLMs über OpenRouter. Jede Antwort habe ich mit derselben Logik gelesen wie unser Workflow-Schritt. Diese Logik akzeptiert zuerst ein exaktes Label. Enthält die Antwort noch etwas anderes, sucht sie nach Labels als ganzen Wörtern und prüft die Zweige der Reihe nach. Das ist wichtig, weil das Ergebnis den Zweig misst, den unser Workflow nehmen würde, einschließlich etwaiger Fehler beim Parsen. Den Test habe ich selbst geplant und mit meinen eigenen Konten durchgeführt.

Wie genau jedes Modell war

Ich dachte, eine Wahl zwischen zwei Möglichkeiten könnte überall unentschieden ausgehen. Jev, GPT-4.1 mini und GPT-5 nano kamen tatsächlich auf 30 von 30, aber Claude Haiku 4.5, die beiden DeepSeek-V4-Modelle und Claude 3 Haiku hinterließen einige aufschlussreiche Probleme.

ModellRichtigMedian-ZeitLangsamste 5 %Kosten pro 100.000Konfidenz
Jev30 von 300,32 s bei offener Verbindung, 0,95 s mit neuer Verbindung je Aufruf1,11 s1,41 $Ja
GPT-4.1 mini30 von 300,84 s1,03 s2,52 $Nein
GPT-5 nano, minimales Reasoning30 von 300,91 s1,13 s1,03 $Nein
GPT-5 nano, Standard-Reasoning30 von 302,24 s3,79 s7,40 $Nein
Claude Haiku 4.529 von 300,88 s1,19 s9,06 $Nein
DeepSeek V4 Flash, Standard-Reasoning28 von 302,07 s3,41 s0,73 $Nein
DeepSeek V4 Pro, Standard-Reasoning28 von 302,92 s7,13 s12,26 $Nein
DeepSeek V4 Pro, Reasoning aus28 von 301,85 s4,75 s3,16 $Nein
DeepSeek V4 Flash, Reasoning aus25 von 301,58 s7,91 s0,33 $Nein
Claude 3 Haiku22 von 300,56 s0,79 s1,90 $Nein
Jev, GPT-4.1 mini und GPT-5 nano haben alle 30 Nachrichten richtig zugeordnet.
Jeder Balken vergleicht meine Labels mit den Zweigen, die der Workflow tatsächlich nehmen würde, einschließlich der Folgen des Parsens. Ein längerer Balken heißt, dass mehr Nachrichten den richtigen Pfad genommen haben.
JevOpenAIAnthropicDeepSeek
Jev
30 von 30
GPT-4.1 mini
30 von 30
GPT-5 nano, minimales Reasoning
30 von 30
GPT-5 nano, Standard-Reasoning
30 von 30
Claude Haiku 4.5
29 von 30
DeepSeek V4 Flash, Standard-Reasoning
28 von 30
DeepSeek V4 Pro, Standard-Reasoning
28 von 30
DeepSeek V4 Pro, Reasoning aus
28 von 30
DeepSeek V4 Flash, Reasoning aus
25 von 30
Claude 3 Haiku
22 von 30

Die Kostenspalte verdient einen Blick, bevor es weitergeht, denn Preis und Genauigkeit gingen nicht Hand in Hand. Jev, GPT-4.1 mini und GPT-5 nano, die drei Modelle mit 30 von 30, hatten jeweils eine Einstellung zwischen 1,03 $ und 2,52 $ pro 100.000 Entscheidungen. Die teuerste Einstellung im Test, DeepSeek V4 Pro mit Standard-Reasoning, kostete 12,26 $ und kam auf 28. Die günstigste, DeepSeek V4 Flash ohne Reasoning, kostete 0,33 $ und kam auf 25. Mehr Geld brachte hier keinen besseren Router, und beim niedrigsten Preis gingen fünf Nachrichten daneben.

Drei Arten, wie ein LLM-Router danebenlag

Über den ganzen Test hinweg hätten 20 der 270 LLM-Antworten den Besucher auf einen anderen Pfad geschickt als mein Label. Beim Durchsehen dieser Antworten fand ich drei Muster: Mehrdeutigkeit, Probleme beim Parsen und falsche Entscheidungen.

1. Eine vage Nachricht bekam trotzdem eine eindeutige Wahl

Beide DeepSeek-Modelle schickten „this is not working and I paid for it“ auf den Erstattungspfad. In drei ihrer vier Einstellungen taten sie dasselbe mit „I want to cancel“. Zusammen mit einem „I’m really unhappy with the service“ machten diese 8 der 20 Fehler aus. Über meine Labels lässt sich hier streiten, denn der Besucher hat um keinen der beiden Pfade klar gebeten. Genau deshalb sind diese Beispiele nützlich. Die Modelle waren sich uneins, aber die Antworten aus einem einzigen Wort gaben dem Workflow keine Möglichkeit, die Mehrdeutigkeit zu erkennen.

2. Das Modell wählte richtig, der Parser nicht

Claude Haiku 4.5 wählte bei allen 30 Nachrichten den vorgesehenen Zweig. Das Problem kam mit „I paid yesterday but my plan still says Free“. Es gab das richtige Label zurück und schrieb dann eine Erklärung dazu, obwohl die Anweisung verlangte, dort aufzuhören.

Claude Haiku 4.5, zu einer Nachricht über einen Tarif, der sich nicht aktualisiert hatChat
assistant: support

The visitor is reporting a technical issue (their plan status hasn't
updated after payment) and needs help resolving it, not requesting a refund.

Diese zusätzliche Erklärung änderte, wie der Parser die Antwort behandelte. Da die Antwort kein exaktes Label mehr war, suchte der Code in der Reihenfolge der Zweige nach Label-Wörtern. Er fand „refund“ in der Erklärung und wählte den ersten Zweig, also den Erstattungspfad. Das Modell hatte „support“ gewählt, aber unser Code hätte den Besucher woandershin geschickt. Ich habe dieselbe Nachricht noch viermal geschickt. Zwei Antworten enthielten eine Erklärung, zwei nur das Label.

DeepSeek hatte dreimal ähnliche Probleme mit dem Format. Eine Antwort war ein Satz, der beide Labels enthielt. Zwei andere gaben „help“ zurück, was kein gültiges Label ist, also fiel der Parser auf den ersten Zweig zurück. Das sind 4 der 20 Fehler. In jedem Fall lag das Problem darin, wie die Antwort formatiert und gelesen wurde, nicht in einem Missverständnis der Anfrage.

3. Es wählte falsch

Claude 3 Haiku schickte 8 der 13 Erstattungsnachrichten zum Support. Eine davon war „Please refund my last payment, I cancelled before the renewal“. Ich habe diese Nachricht noch dreimal geschickt und bekam „support“, „support“ und dann „refund“. Claude 3 Haiku war das schnellste LLM in diesem Test, und sein Preis war niedrig. Trotzdem behandelte dieses Modell von 2024 ausdrückliche Erstattungswünsche nicht verlässlich genug, als dass ich es in diesem Workflow einsetzen würde.

Hat der Workflow eine Antwort erst einmal auf „refund“ reduziert, geht der Grund für diese Wahl leicht verloren. Dahinter kann ein klares Anliegen stecken, eine mehrdeutige Nachricht oder ein Fehler beim Parsen.

Geschwindigkeit und Kosten

Genauigkeit war nur ein Teil dessen, was ich verstehen wollte. Die nächsten beiden Diagramme zeigen, wie lange Besucher auf eine Routing-Entscheidung warten würden, bei einem typischen und bei einem langsameren Aufruf.

Jev mit offener Verbindung traf die schnellsten Entscheidungen, in 0,32 Sekunden.
Jeder Balken ist die Median-Zeit der Aufrufe einer Einstellung, gemessen von Deutschland aus, und die Balken sind von der schnellsten zur langsamsten sortiert.
JevOpenAIAnthropicDeepSeek
Jev, Verbindung offen gehalten
0,32 s
Claude 3 Haiku
0,56 s
GPT-4.1 mini
0,84 s
Claude Haiku 4.5
0,88 s
GPT-5 nano, minimales Reasoning
0,91 s
Jev, neue Verbindung je Aufruf
0,95 s
DeepSeek V4 Flash, Reasoning aus
1,58 s
DeepSeek V4 Pro, Reasoning aus
1,85 s
DeepSeek V4 Flash, Standard-Reasoning
2,07 s
GPT-5 nano, Standard-Reasoning
2,24 s
DeepSeek V4 Pro, Standard-Reasoning
2,92 s
DeepSeek V4 Flash ohne Reasoning hatte mit 7,91 Sekunden die längsten langsamen Aufrufe, Jev mit offener Verbindung mit 0,38 Sekunden die kürzesten.
Das 95. Perzentil von 30 Aufrufen zeigt die längeren Wartezeiten. Bei Jev mit offener Verbindung ist es der langsamste von 11 Aufrufen.
JevOpenAIAnthropicDeepSeek
Jev, Verbindung offen gehalten
0,38 s
Claude 3 Haiku
0,79 s
GPT-4.1 mini
1,03 s
Jev, neue Verbindung je Aufruf
1,11 s
GPT-5 nano, minimales Reasoning
1,13 s
Claude Haiku 4.5
1,19 s
DeepSeek V4 Flash, Standard-Reasoning
3,41 s
GPT-5 nano, Standard-Reasoning
3,79 s
DeepSeek V4 Pro, Reasoning aus
4,75 s
DeepSeek V4 Pro, Standard-Reasoning
7,13 s
DeepSeek V4 Flash, Reasoning aus
7,91 s

Ein paar Details halfen mir, die Zeiten einzuordnen.

  • Reasoning kostete bei einer kurzen Antwort Zeit und Geld. Mit seiner Standardeinstellung verbrauchte GPT-5 nano etwa 140 versteckte Reasoning-Tokens, bevor es ein Label zurückgab. Es war zweieinhalbmal so langsam und siebenmal so teuer wie dasselbe Modell mit heruntergeregeltem Reasoning, bei demselben Ergebnis, 30 von 30. Auch DeepSeek V4 Pro dachte vor der Antwort nach und verbrauchte dabei etwa 80 Tokens. Das Reasoning herunterzuregeln, ist für diese Aufgabe einen Versuch wert, aber danach muss die Genauigkeit erneut geprüft werden, denn DeepSeek V4 Flash verfehlte ohne Reasoning drei Nachrichten mehr.
  • Bei Jev machte die Verbindung viel aus. Sein Server meldete bei jedem Aufruf 0,10 Sekunden Verarbeitung. Ein Großteil der übrigen Zeit schien auf das Netz zu entfallen. Die API läuft im Westen der USA, und ein Hin- und Rückweg von Deutschland dauert etwa 0,2 Sekunden. Der Aufbau einer neuen sicheren Verbindung kostet noch einmal etwa 0,6 Sekunden. Mit offen gehaltener Verbindung dauerte eine Entscheidung nur 0,32 Sekunden. Mit einer neuen Verbindung für jeden Aufruf war Jev nicht schneller als GPT-4.1 mini, Claude Haiku 4.5 oder GPT-5 nano mit minimalem Reasoning.
  • Die Zeiten von DeepSeek schwankten zwischen den Anbietern. OpenRouter verteilte die Aufrufe auf sieben bis neun Hosting-Anbieter, und einzelne Aufrufe dauerten zwischen 0,6 und 12 Sekunden. Ein einzelner fest gewählter Anbieter könnte die Zeiten gleichmäßiger machen, aber das habe ich hier nicht getestet. Ich wollte sehen, wie es sich mit der Standardeinrichtung verhält.
Den größten Teil der Zeit eines Jev-Aufrufs aus Deutschland braucht das Netz, nicht das Modell.
Die Arbeit des Modells selbst ist der kleinste Teil. Die Aufteilung ist ungefähr, denn die Verarbeitungszeit ist die, die der Server gemeldet hat, und der Rest ergibt sich aus den beiden Messungen.
Das Modell, laut seinem ServerHin- und Rückweg über das Netz in die USAAufbau einer neuen sicheren Verbindung
Verbindung offen gehalten · 0,10 + 0,22
0,32 s
Neue Verbindung je Aufruf · 0,10 + 0,22 + 0,63
0,95 s

Was jede Entscheidung kostet

Routing läuft bei jeder Nachricht, also vervielfacht sich sein Preis mit jeder Nachricht, die ein Chatbot erhält. Deshalb lohnt sich ein genauerer Blick auf die Kosten pro Entscheidung, auch wenn ein einzelner Aufruf nur einen winzigen Bruchteil eines Cents kostet.

In US-Dollar kosteten 100.000 Entscheidungen zwischen 0,33 $ für DeepSeek V4 Flash ohne Reasoning und 12,26 $ für DeepSeek V4 Pro mit Standard-Reasoning.
Jeder Betrag ist die Zahl der Tokens mal dem veröffentlichten Preis. Die Anbieter von DeepSeek verlangen unterschiedliche Preise, deshalb ist dessen Betrag das, was OpenRouter abgerechnet hat, und ein kürzerer Balken kostet weniger.
JevOpenAIAnthropicDeepSeek
DeepSeek V4 Flash, Reasoning aus
0,33 $
DeepSeek V4 Flash, Standard-Reasoning
0,73 $
GPT-5 nano, minimales Reasoning
1,03 $
Jev
1,41 $
Claude 3 Haiku
1,90 $
GPT-4.1 mini
2,52 $
DeepSeek V4 Pro, Reasoning aus
3,16 $
GPT-5 nano, Standard-Reasoning
7,40 $
Claude Haiku 4.5
9,06 $
DeepSeek V4 Pro, Standard-Reasoning
12,26 $

Damit man sich diese Zahlen besser vorstellen kann, hier dieselbe Liste bei einer Million gerouteter Nachrichten im Monat, neben der Genauigkeit jeder Einstellung.

EinstellungRichtigPro 100.000 EntscheidungenPro Million Entscheidungen
DeepSeek V4 Flash, Reasoning aus25 von 300,33 $3,30 $
DeepSeek V4 Flash, Standard-Reasoning28 von 300,73 $7,30 $
GPT-5 nano, minimales Reasoning30 von 301,03 $10,30 $
Jev30 von 301,41 $14,10 $
Claude 3 Haiku22 von 301,90 $19,00 $
GPT-4.1 mini30 von 302,52 $25,20 $
DeepSeek V4 Pro, Reasoning aus28 von 303,16 $31,60 $
GPT-5 nano, Standard-Reasoning30 von 307,40 $74,00 $
Claude Haiku 4.529 von 309,06 $90,60 $
DeepSeek V4 Pro, Standard-Reasoning28 von 3012,26 $122,60 $

Bei einer Million Entscheidungen im Monat kämen GPT-5 nano mit minimalem Reasoning, Jev und GPT-4.1 mini auf 10,30 $, 14,10 $ und 25,20 $. GPT-5 nano mit seinem Standard-Reasoning käme für dieselben 30 von 30 auf 74,00 $, und DeepSeek V4 Pro mit Standard-Reasoning auf 122,60 $ für ein schlechteres Ergebnis. DeepSeek V4 Pro mit Standard-Reasoning kostet 37-mal so viel wie DeepSeek V4 Flash ohne Reasoning, und der größte Teil dieses Abstands kommt von zwei Dingen, die ich steuern kann: ob das Modell nachdenkt und wie viel es schreibt.

Die günstigste Einstellung, DeepSeek V4 Flash ohne Reasoning, war auch eine der ungenauesten, und dort liegen die größeren Kosten. Ein Routing-Aufruf kostet etwa ein Tausendstel Cent. Ein Besucher auf dem falschen Pfad kostet eine Support-Unterhaltung, und wenn der Erstattungspfad Geld auszahlt, auch noch die Erstattung. Eine einzige irrtümliche Erstattung eines Abos für 29 $ kostet mehr als die Rechnung für das Routing einer Million Nachrichten mit GPT-5 nano, Jev oder GPT-4.1 mini. Ich würde einen Router nicht allein nach dem Preis wählen. Unter den Routern, die richtig entscheiden, darf der Preis aber den Ausschlag geben, und die Token-Rechnungen zeigen, woher er kommt.

Wofür Sie tatsächlich bezahlen

Ein niedriger Token-Preis sagt noch nicht alles. Jedes Modell brauchte für dieselbe Entscheidung unterschiedlich viele Tokens, und manche berechneten zusätzlich ihr Reasoning.

Jev zählte für eine Entscheidung die meisten Input-Tokens, und GPT-5 nano mit Standard-Reasoning berechnete am meisten für Reasoning.
Jeder Balken ist der Durchschnitt über die 30 Nachrichten, wie ihn die jeweilige API gemeldet hat. Die Output-Tokens von Jev sind kostenlos, also kostet nur sein Input etwas. DeepSeek ohne Reasoning sieht aus wie GPT-4.1 mini, mit 48 Tokens Input und etwa 3 Output.
InputOutputVerstecktes Reasoning, als Output abgerechnet
Jev · 336 Input, 31 Output (kostenlos)
367
GPT-4.1 mini · 55 Input, 2 Output
57
Claude 3 Haiku · 55 Input, 4 Output
59
Claude Haiku 4.5 · 55 Input, 7 Output
62
GPT-5 nano, minimales Reasoning · 54 Input, 19 Output
73
DeepSeek V4 Flash, Standard-Reasoning · 48 Input, 3 Output, 43 Reasoning
94
DeepSeek V4 Pro, Standard-Reasoning · 56 Input, 3 Output, 79 Reasoning
138
GPT-5 nano, Standard-Reasoning · 54 Input, 37 Output, 141 Reasoning
232
  • Vergleichen Sie die Kosten einer Entscheidung, nicht nur eines Tokens. Jev zählte 336 Input-Tokens für eine Anfrage, für die der LLM-Prompt etwa 54 brauchte. Seine Fragevorlage wird mitberechnet. Sein Input-Preis ist zwar fast zehnmal niedriger als der von GPT-4.1 mini, aber es braucht sechsmal so viele Tokens, und damit landen die Kosten einer Entscheidung etwa im Bereich von GPT-5 nano. DeepSeek V4 Flash hat einen niedrigeren Token-Preis und braucht nur ein Siebtel der Input-Tokens, was seine niedrigeren Gesamtkosten mit erklärt.
  • Zusätzliche Erklärungen stehen auch auf der Rechnung. Claude Haiku 4.5 kam im Schnitt auf 7 Output-Tokens, während eine Antwort aus einem Wort 4 braucht. Seine gelegentlichen Erklärungen machen den Unterschied aus. Bei 5 $ pro Million Output-Tokens hatten diese zusätzlichen Wörter den höchsten Output-Preis in diesem Test.
  • Die Rechnung von Jev war am leichtesten vorherzusagen. Sein Output ist kostenlos, und es hat keine Reasoning-Phase, also hängen die Kosten nur von der Länge der Anfrage ab. Die Rechnungen der LLMs schwankten mit dem, was jedes Modell zu schreiben beschloss, ob das die Erklärungen von Claude Haiku 4.5 waren oder das Reasoning von GPT-5 nano.
  • Mehr Reasoning verbesserte dieses Ergebnis nicht. GPT-5 nano verbrauchte im Schnitt 141 Reasoning-Tokens, um zwischen zwei Labels zu wählen. Hier machte diese zusätzliche Arbeit es nicht genauer als minimales Reasoning.

Wie die Konfidenz dem Workflow hilft, besser nachzufragen

Die Konfidenzwerte von Jev waren für meinen Workflow der nützlichste Teil des Tests. Alle seine Entscheidungen stimmten mit meinen Labels überein, und seine Werte hoben zugleich die Nachrichten hervor, bei denen eine Rückfrage sinnvoll wäre. Das ist vielversprechend, auch wenn diese kleine Stichprobe nicht belegen kann, wie gut die Werte allgemein kalibriert sind.

Die Konfidenz von Jev fiel nur bei zwei der 30 Nachrichten unter 0,8.
Alle 30 Antworten von Jev waren richtig. Die gestrichelte Linie markiert einen Schwellenwert von 0,8, und darunter würde der Workflow den Besucher fragen, statt zu wählen.
Geht direkt weiterUnter 0,8, also fragt der Workflow den Besucher
Die 24 klaren Nachrichten (die niedrigste davon)
0,97
„hello“
1,00
„I paid yesterday but my plan still says Free“
1,00
„If I cancel now do I get the rest of the month back?“
0,99
„I’m really unhappy with the service“
0,96
„I want to cancel“
0,54
„this is not working and I paid for it“
0,21

Mit einem Schwellenwert von 0,8 würden genau zwei der 30 Nachrichten eine Rückfrage auslösen. Bei beiden würde ich selbst nachfragen wollen. „I want to cancel“ kann heißen, dass der Besucher eine Erstattung möchte, oder einfach, dass er Hilfe braucht, um den Button zum Kündigen zu finden. „this is not working and I paid for it“ drückt Ärger aus, sagt aber noch nicht, wie wir dem Besucher helfen sollen.

Bei genau diesen beiden Nachrichten waren sich auch die LLMs über den Pfad uneins.

NachrichtZum Support geschickt vonZur Erstattung geschickt vonKonfidenz von Jev
„this is not working and I paid for it“GPT-5 nano, GPT-4.1 mini, Claude Haiku 4.5, Claude 3 Haiku, JevDeepSeek V4 Flash und V4 Pro, in jeder Einstellung0,21
„I want to cancel“GPT-5 nano, GPT-4.1 mini, Claude Haiku 4.5, Claude 3 Haiku, DeepSeek V4 Pro mit Reasoning, JevDeepSeek V4 Flash in beiden Einstellungen, DeepSeek V4 Pro ohne Reasoning0,54
Bei den Nachrichten, bei denen die LLMs uneins waren, gab Jev niedrigere Konfidenzwerte zurück. Der Workflow könnte diese Werte nutzen, um nachzufragen, bevor er weitermacht.

Der Konfidenzwert ist etwas anderes als die Wahrscheinlichkeit, die dem gewählten Pfad zugewiesen wird. Mit beiden zusammen lassen sich die sechs vagen Nachrichten leichter deuten.

Bei zwei der sechs vagen Nachrichten war Jev weit weniger sicher als bei den anderen vier.
Jeder Balken zeigt die Wahrscheinlichkeit, die Jev jedem Pfad zugewiesen hat. Eine Aufteilung näher an 50 zu 50 deutet auf eine weniger entschiedene Wahl hin. Im Aufbau mit den LLMs wurde ein Label ohne diese Wahrscheinlichkeiten verlangt.
ErstattungSupport
„this is not working and I paid for it“ · 39 % Erstattung, 61 % Support
„I want to cancel“ · 23 % Erstattung, 77 % Support
„I’m really unhappy with the service“ · 2 % Erstattung, 98 % Support
„If I cancel now do I get the rest of the month back?“ · 99 % Erstattung, 1 % Support
„I paid yesterday but my plan still says Free“ · nur Support
„hello“ · nur Support
NachrichtWahlAufteilungKonfidenzWas der Workflow tut
„Refund“refund100 / 01,00Er nimmt den Erstattungspfad.
„I want to cancel“support77 / 230,54Er fragt den Besucher, welches von beiden er meint.
„this is not working and I paid for it“support61 / 390,21Er fragt den Besucher, welches von beiden er meint.

Nach dieser Regel gingen die anderen 28 Nachrichten direkt auf ihren gewählten Zweig. Die zwei unklaren bekämen eine Frage mit zwei Buttons, mit denen der Besucher wählt, was er braucht.

Die Konfidenz zu prüfen, kostet nichts extra. Der Wert kommt in derselben Antwort wie die Wahl, es gibt also keinen zweiten Aufruf, den man bezahlen oder abwarten muss. Der einzige Preis ist eine zusätzliche Frage für die Besucher, deren Nachricht unklar war, in diesem Test 2 von 30.

Was TypeSafe verspricht und was ich gemessen habe

Ich habe die Ergebnisse auch mit den Aussagen auf der Website von TypeSafe verglichen. Manche passen zu dem, was ich beobachtet habe, andere bräuchten einen breiteren Vergleich oder mehr Tests, als ich hier gemacht habe.

AussageWas ich gesehen habe
Antwortet in etwa einer ZehntelsekundeDas stimmt für den Server, der bei jedem Aufruf 0,10 s meldete. Aus Europa sollten Sie mit etwa 0,3 s bei offener Verbindung rechnen.
Hunderte Male günstiger als ein LLMFür eine kleine Frage stimmte das nicht. GPT-5 nano mit heruntergeregeltem Reasoning kostete etwa gleich viel, DeepSeek V4 Flash weniger, und GPT-4.1 mini kostete weniger als das Doppelte. Ein Vergleich mit großen LLM-Workflows könnte anders aussehen, aber das habe ich hier nicht getestet.
Liefert kalibrierte KonfidenzDas Muster war nützlich, aber die Stichprobe ist zu klein, um eine Kalibrierung zu belegen. Bei klaren Nachrichten lag die Konfidenz nahe 1,00, und bei den beiden unklaren, bei denen die LLMs uneins waren, fiel sie auf 0,21 und 0,54.
Viele Fragen in einem Aufruf, mit wenig zusätzlicher ZeitDas ist dokumentiert, aber ich habe es hier nicht gemessen. So könnte ein einziger Aufruf nach dem Pfad fragen, danach, ob ein Mensch gebraucht wird, und danach, ob die Nachricht ein Angriff ist.

Was sich dadurch in unserem Workflow ändert

Ich füge ein Entscheidungsmodell als optionale Möglichkeit hinzu, einen Entscheidungsschritt auszuführen, neben der bestehenden Option mit einem LLM. Der Test hat auch Verbesserungen am Schritt selbst aufgezeigt.

Derselbe Workflow mit einem Zweig für „unsure“.WORKFLOW
Die nächste Version bekommt eine Stelle für Rückfragen. Ein niedriger Konfidenzwert oder eine Antwort ohne gültiges Label schickt den Besucher zu einer Frage, bevor der Workflow weitergeht.
  • Das LLM bleibt der Standard. Es unterstützt unsere mehrsprachigen Workflows, und wer ChatFrom nutzt, kann bei dem Anbieter bleiben, den er schon gewählt hat.
  • Der Entscheidungsschritt bekommt einen Schwellenwert für die Konfidenz und einen Zweig „wenn unsicher“. Dieser Zweig führt zum bestehenden Schritt, der dem Besucher eine Frage mit Buttons stellt.
  • Der Parser prüft zuerst das erste Wort. Beginnt eine Antwort mit einem gültigen Label, wählt er diesen Zweig, auch wenn eine Erklärung folgt. Allein das hätte das Ergebnis von Claude Haiku 4.5 von 29 auf 30 gebracht.
  • Unerkannte Antworten führen zu einer Frage. Findet sich kein Label, sollte der Workflow den Besucher fragen, was er meint, statt stillschweigend den ersten Pfad zu nehmen.
  • Das Reasoning wird reduziert, dann wird die Genauigkeit erneut geprüft. Die Ergebnisse geben mir Grund zu bezweifeln, dass dieser Schritt etwas davon hat, 140 Tokens lang nachzudenken, bevor er ein einziges Wort zurückgibt.

Bevor ich diese Änderungen ausliefere, muss ich noch drei Einschränkungen berücksichtigen.

  • Ich habe nur Englisch getestet. Deutsch und andere Sprachen muss ich testen, bevor ich es ausliefere. TypeSafe erwartet, dass sich seine neuere Version, Jev 1.14, vor allem in anderen Sprachen verbessert.
  • Ich muss prüfen, wohin die Daten gehen. Die API von Jev läuft in den USA. OpenRouter hat die DeepSeek-Aufrufe außerdem auf 14 Hosting-Unternehmen verteilt, die ich nicht einzeln ausgewählt hatte. Für diese erfundenen Nachrichten war das in Ordnung. Bevor ich echte Nachrichten von Besuchern eines europäischen Unternehmens verwende, muss ich die Bedingungen zur Datenverarbeitung prüfen und einen Anbieter ausdrücklich auswählen.
  • Die Stichprobe ist klein. Dreißig Nachrichten und ein Durchlauf pro Einstellung sind ein Anfang. Wie zwei der Beispiele gezeigt haben, kann dieselbe Nachricht beim nächsten Mal eine andere Antwort bekommen. Ich sehe das als praktischen Test unseres Workflows, nicht als breiten Benchmark der Modelle.

Häufige Fragen

Ist Jev beim Intent-Routing genauer als ein LLM?

In diesem kleinen Test lag Jev bei der Routing-Aufgabe mit zwei Pfaden gleichauf mit GPT-5 nano und GPT-4.1 mini, bei 30 von 30. Claude Haiku 4.5 kam auf 29, DeepSeek V4 Flash und Pro mit Standard-Reasoning auf 28 und Claude 3 Haiku auf 22. Jev lieferte außerdem Konfidenzwerte, nach denen die LLMs in diesem Aufbau nicht gefragt wurden.

Welches LLM eignet sich am besten für die Intent-Erkennung in einem Chatbot?

Für diesen Workflow waren GPT-4.1 mini und GPT-5 nano mit minimalem Reasoning die stärksten LLMs in meinem Test. Beide kamen auf 30 von 30, mit Median-Zeiten unter einer Sekunde und Kosten von 1 $ bis 2,60 $ pro 100.000 Entscheidungen. Auch Claude Haiku 4.5 wählte jedes Mal den richtigen Zweig, aber eine zusätzliche Erklärung brachte unseren Parser durcheinander, und es kostete etwa 9 $. DeepSeek V4 Flash war am günstigsten, wich bei vagen Nachrichten aber von meinen Labels ab. OpenAI will GPT-4.1 mini und GPT-5 nano aus seiner API nehmen, und GPT-6 Luna, das OpenAI als Ersatz für GPT-4.1 mini empfiehlt, kam bei meinem zweiten Durchlauf des Tests ebenfalls auf 30 von 30.

Was kostet die Intent-Erkennung pro Nachricht?

Die Kosten lagen bei einem kleinen Bruchteil eines Cents pro Nachricht, von unter einem Tausendstel bis über ein Hundertstel Cent. Über die getesteten Einstellungen waren es 0,33 $ bis 12,26 $ pro 100.000 Entscheidungen. Jev, GPT-4.1 mini und GPT-5 nano, die drei Modelle mit 30 von 30, hatten jeweils eine Einstellung im Bereich von 1 $ bis 2,60 $.

Ist ein Entscheidungsmodell für das Routing günstiger als ein LLM?

Für eine kleine Frage ist ein Entscheidungsmodell nicht viel günstiger als ein kleines LLM, und manche LLMs kosten weniger. Jev kostete in diesem Test 1,41 $ pro 100.000 Entscheidungen, zwischen GPT-5 nano mit minimalem Reasoning mit 1,03 $ und GPT-4.1 mini mit 2,52 $. Es war deutlich günstiger als GPT-5 nano und DeepSeek V4 Pro mit ihrem Standard-Reasoning, die 7,40 $ und 12,26 $ kosteten, und günstiger als Claude Haiku 4.5 mit 9,06 $. DeepSeek V4 Flash kostete weniger als alle anderen, war aber ungenauer.

Welchen Schwellenwert für die Konfidenz sollte ich verwenden?

Ich habe 0,8 verwendet, womit 2 der 30 Nachrichten an eine Rückfrage gingen. Sehen Sie das als Ausgangspunkt für eigene Tests, nicht als allgemeingültige Einstellung. Versehen Sie ein paar Dutzend Nachrichten aus Ihrem eigenen Workflow mit Labels, prüfen Sie die Werte bei Anliegen, bei denen Sie nachfragen würden, und probieren Sie einen Schwellenwert knapp darüber. Prüfen Sie dann, welche Nachrichten er durchlässt und welche er anhält.

Warum war das schnelle Modell in der Praxis nicht schneller?

Die Verbindung und die Entfernung zur API machten einen Großteil der Wartezeit aus. Jev meldete 0,10 Sekunden Verarbeitung, der Rest der gemessenen Zeit lag außerhalb davon. Eine offene Verbindung wiederzuverwenden, half in diesem Test. Wenn Sie aus der Region Ihres eigenen Servers messen, bekommen Sie eine brauchbarere Vorstellung davon, wie schnell es für Ihre Besucher sein wird.

Angefangen habe ich mit der Frage, ob ein LLM das richtige Modell für diesen Routing-Schritt ist. Der Test brachte mich zu einer nützlicheren Frage, nämlich was der Workflow als Nächstes tun soll, wenn das Anliegen des Besuchers unklar ist. Jev, GPT-4.1 mini und GPT-5 nano lagen bei der Genauigkeit gleichauf, aber Genauigkeit allein löste weder mehrdeutige Anfragen noch Probleme beim Parsen. Die Konfidenzwerte von Jev gaben mir einen praktischen Weg, eine Rückfrage einzubauen. Zusammen mit einem besseren Parser und einem ausdrücklichen Fallback ist das die Änderung, die ich in ChatFrom bringen möchte.

Die Kosten wiesen in dieselbe Richtung. GPT-5 nano mit minimalem Reasoning, Jev und GPT-4.1 mini waren alle günstig, mit 1,03 $ bis 2,52 $ pro 100.000 Entscheidungen, die Preisliste konnte das also nie allein entscheiden. Was die Rechnung bewegte, war, wie jedes Modell eingesetzt wurde. Das Reasoning auf dem Standard zu lassen, versiebenfachte die Kosten von GPT-5 nano bei gleichem Ergebnis, und bei Claude Haiku 4.5 kostete jedes zusätzliche Wort seiner Erklärungen Geld. Die größeren Kosten liegen ganz außerhalb der API-Rechnung, bei einem Besucher auf dem falschen Pfad oder einer Erstattung, die auf gut Glück angestoßen wurde. Ein Router, der sagen kann, dass er unsicher ist, kostet pro Aufruf etwa gleich viel, und er ist die eine Stelle, an der ich diese größeren Kosten senken kann.

Später habe ich denselben Test noch einmal durchgeführt, mit der Decisions API von OpenAI, Jev und vier LLMs. Die Ergebnisse stehen in OpenAIs Decisions API im Test: Intent-Routing für Chatbots.


Mit ChatFrom bauen Sie solche Workflows visuell, mit einem Entscheidungsschritt, einem Zweig für jedes Anliegen und einer Rückfrage, wenn die Anfrage des Besuchers unklar ist. Der Workflow für Abonnements ist ein Beispiel dafür, bei dem ein Entscheidungsschritt eine Kündigung und eine Frage zur Abrechnung auf verschiedene Pfade schickt. Sie können im kostenlosen Hobby-Tarif mit 50 Credits im Monat und ohne Kreditkarte starten und auf der Preisseite sehen, was Pro für 29 $ im Monat und Business für 49 $ im Monat enthalten, oder auf der Vergleichsseite, wie sich ChatFrom von anderen Chatbot-Plattformen unterscheidet.