Jev und sechs LLMs im Test: Intent-Routing für Chatbots
Jev und sechs LLMs von OpenAI, Anthropic und DeepSeek im Test mit 30 Chatbot-Nachrichten: was ich über Genauigkeit, Tempo, Kosten und Konfidenz gelernt habe.

Jev, ein Modell für Entscheidungen, war bei einer kleinen, aber wichtigen Chatbot-Aufgabe so genau wie die besten LLMs in meinem Test. Die Aufgabe ist zu erkennen, ob ein Besucher eine Erstattung möchte oder Support braucht. Jev ordnete alle 30 Testnachrichten richtig zu, genau wie GPT-5 nano und GPT-4.1 mini. Claude Haiku 4.5 verfehlte eine Nachricht, beide DeepSeek-V4-Modelle mindestens zwei und Claude 3 Haiku acht.
Am meisten interessierte mich, was Jev zusätzlich zu seiner Antwort lieferte. Bei offen gehaltener Verbindung antwortete es in etwa einem Drittel der Zeit, die GPT-4.1 mini und GPT-5 nano brauchten. Es kostete 1,41 $ pro 100.000 Entscheidungen und lag damit zwischen GPT-5 nano mit 1,03 $ und GPT-4.1 mini mit 2,52 $. Außerdem lieferte es zu jeder Entscheidung einen Konfidenzwert, was in diesem Test keines der LLMs tat. Damit hatte ich einen Weg, Nachrichten zu erkennen, bei denen eine Rückfrage an den Besucher mehr bringen könnte als die Wahl eines Zweigs.
Ich betreibe ChatFrom, wo Unternehmen die Unterhaltungen ihres Chatbots als Workflows aufbauen. Ein Schritt entscheidet, welchen Zweig die Nachricht eines Besuchers nimmt. Heute übernimmt das ein LLM. Mit diesem Test wollte ich herausfinden, ob ein Entscheidungsmodell helfen könnte und was ich sonst noch am Workflow ändern müsste.
Was Intent-Routing in einem Chatbot-Workflow ist
Intent-Routing bedeutet, die Nachricht eines Besuchers zu lesen und einen von wenigen festgelegten Pfaden zu wählen. Möchte jemand sein Geld zurück, folgt der Chatbot dem Erstattungspfad: nach der Bestellnummer fragen, das Erstattungs-Tool aufrufen und antworten. Braucht jemand Hilfe, folgt er dem Support-Pfad. Der Router selbst schreibt keine Antwort. Er entscheidet nur, was als Nächstes passiert.
In ChatFrom trifft diese Wahl derzeit ein kleines LLM. Der Prompt verlangt genau ein Label, und der Code gleicht die Antwort mit den Namen der Zweige ab.
Dreißig Nachrichten, eine Frage und sieben Modelle
Ich habe 30 Nachrichten geschrieben, wie sie plausibel in einem Support-Postfach ankommen könnten, und jeder das Label des Zweigs gegeben, den ich wählen würde. 24 davon sind klare Anliegen, je 12 für jeden Pfad. Die übrigen 6 sind absichtlich vage. Ich habe sie aufgenommen, um zu sehen, was passiert, wenn der Besucher nicht ganz gesagt hat, was er braucht.
| Art | Anzahl | Beispiele |
|---|---|---|
| Klar, Erstattung | 12 | „I was charged twice this month, I want my money back“, „Refund“ |
| Klar, Support | 12 | „I can’t log in, the magic link never arrives“, „My uploaded PDF is stuck on indexing“ |
| Vage | 6 | „this is not working and I paid for it“, „I want to cancel“, „hello“ |
Jede Nachricht ging an jedes der sieben Modelle, mit derselben Frage: What does the visitor want: a refund, or help from customer support? Das sind die Teilnehmer.
- GPT-5 nano ist das kleinste Modell der GPT-5-Familie von OpenAI. Es ist ein Reasoning-Modell, deshalb habe ich es zweimal getestet: einmal mit dem Reasoning-Aufwand auf minimal und einmal mit seiner Standardeinstellung.
- GPT-4.1 mini ist ein kleines Modell von OpenAI, das ohne eigene Reasoning-Phase antwortet.
- Claude Haiku 4.5 ist das kleine Modell von Anthropic. Dazu habe ich Claude 3 Haiku aufgenommen, seinen Vorgänger von 2024, den OpenRouter zum Zeitpunkt des Tests noch zu einem Viertel des Preises anbot.
- DeepSeek V4 Flash und DeepSeek V4 Pro sind das kleine und das große V4-Modell. Beide nutzen standardmäßig Reasoning. Ich habe jedes zweimal laufen lassen, mit seinem Standard-Reasoning und mit abgeschaltetem Reasoning.
- Jev (Version 1.13) ist ein Entscheidungsmodell von TypeSafe. Statt es eine Antwort schreiben zu lassen, schicken Sie ihm einen Zustand und eine typisierte Frage. Es gibt eine Wahl zurück, eine Wahrscheinlichkeit für jede Option und einen Konfidenzwert.
Ich habe vor allem kleine Modelle gewählt, weil dieser Schritt bei jeder Nachricht läuft, bevor der Chatbot antworten kann. Für eine Entscheidung aus einem Wort wollte ich Wartezeit und Kosten niedrig halten. DeepSeek V4 Pro war das einzige große Modell im Test. Es war hier die langsamste und teuerste Option und nicht genauer als sein kleiner Bruder.
Zum Vergleich die veröffentlichten Preise am Tag des Tests.
| Modell | Input, pro Million Tokens | Output, pro Million Tokens |
|---|---|---|
| DeepSeek V4 Flash | Ab 0,036 $ | Ab 0,071 $ (jeder Hosting-Anbieter legt seinen eigenen Preis fest) |
| Jev | 0,042 $ | Kostenlos |
| GPT-5 nano | 0,05 $ | 0,40 $ (Reasoning-Tokens werden als Output abgerechnet) |
| Claude 3 Haiku | 0,25 $ | 1,25 $ |
| GPT-4.1 mini | 0,40 $ | 1,60 $ |
| DeepSeek V4 Pro | Ab 0,42 $ | Ab 0,85 $ |
| Claude Haiku 4.5 | 1,00 $ | 5,00 $ |
Was die sechs LLMs bekommen
Die Antwort gibt dem Workflow einen Zweig vor, aber keinen Hinweis darauf, wie unsicher diese Wahl sein könnte.
Was Jev bekommt und was es zurückgibt
Auch Jev wählt „support“. Dazu meldet es eine Aufteilung von 61 zu 39 und einen Konfidenzwert von 0,21. Damit hat der Workflow ein Signal, um innezuhalten und den Besucher zu fragen, was er meint.
Gemessen habe ich den vollständigen Hin- und Rückweg von Deutschland aus, mit Aufrufen nacheinander für jedes Modell. Jev lief über seine eigene API, alle LLMs über OpenRouter. Jede Antwort habe ich mit derselben Logik gelesen wie unser Workflow-Schritt. Diese Logik akzeptiert zuerst ein exaktes Label. Enthält die Antwort noch etwas anderes, sucht sie nach Labels als ganzen Wörtern und prüft die Zweige der Reihe nach. Das ist wichtig, weil das Ergebnis den Zweig misst, den unser Workflow nehmen würde, einschließlich etwaiger Fehler beim Parsen. Den Test habe ich selbst geplant und mit meinen eigenen Konten durchgeführt.
Wie genau jedes Modell war
Ich dachte, eine Wahl zwischen zwei Möglichkeiten könnte überall unentschieden ausgehen. Jev, GPT-4.1 mini und GPT-5 nano kamen tatsächlich auf 30 von 30, aber Claude Haiku 4.5, die beiden DeepSeek-V4-Modelle und Claude 3 Haiku hinterließen einige aufschlussreiche Probleme.
| Modell | Richtig | Median-Zeit | Langsamste 5 % | Kosten pro 100.000 | Konfidenz |
|---|---|---|---|---|---|
| Jev | 30 von 30 | 0,32 s bei offener Verbindung, 0,95 s mit neuer Verbindung je Aufruf | 1,11 s | 1,41 $ | Ja |
| GPT-4.1 mini | 30 von 30 | 0,84 s | 1,03 s | 2,52 $ | Nein |
| GPT-5 nano, minimales Reasoning | 30 von 30 | 0,91 s | 1,13 s | 1,03 $ | Nein |
| GPT-5 nano, Standard-Reasoning | 30 von 30 | 2,24 s | 3,79 s | 7,40 $ | Nein |
| Claude Haiku 4.5 | 29 von 30 | 0,88 s | 1,19 s | 9,06 $ | Nein |
| DeepSeek V4 Flash, Standard-Reasoning | 28 von 30 | 2,07 s | 3,41 s | 0,73 $ | Nein |
| DeepSeek V4 Pro, Standard-Reasoning | 28 von 30 | 2,92 s | 7,13 s | 12,26 $ | Nein |
| DeepSeek V4 Pro, Reasoning aus | 28 von 30 | 1,85 s | 4,75 s | 3,16 $ | Nein |
| DeepSeek V4 Flash, Reasoning aus | 25 von 30 | 1,58 s | 7,91 s | 0,33 $ | Nein |
| Claude 3 Haiku | 22 von 30 | 0,56 s | 0,79 s | 1,90 $ | Nein |
Die Kostenspalte verdient einen Blick, bevor es weitergeht, denn Preis und Genauigkeit gingen nicht Hand in Hand. Jev, GPT-4.1 mini und GPT-5 nano, die drei Modelle mit 30 von 30, hatten jeweils eine Einstellung zwischen 1,03 $ und 2,52 $ pro 100.000 Entscheidungen. Die teuerste Einstellung im Test, DeepSeek V4 Pro mit Standard-Reasoning, kostete 12,26 $ und kam auf 28. Die günstigste, DeepSeek V4 Flash ohne Reasoning, kostete 0,33 $ und kam auf 25. Mehr Geld brachte hier keinen besseren Router, und beim niedrigsten Preis gingen fünf Nachrichten daneben.
Drei Arten, wie ein LLM-Router danebenlag
Über den ganzen Test hinweg hätten 20 der 270 LLM-Antworten den Besucher auf einen anderen Pfad geschickt als mein Label. Beim Durchsehen dieser Antworten fand ich drei Muster: Mehrdeutigkeit, Probleme beim Parsen und falsche Entscheidungen.
1. Eine vage Nachricht bekam trotzdem eine eindeutige Wahl
Beide DeepSeek-Modelle schickten „this is not working and I paid for it“ auf den Erstattungspfad. In drei ihrer vier Einstellungen taten sie dasselbe mit „I want to cancel“. Zusammen mit einem „I’m really unhappy with the service“ machten diese 8 der 20 Fehler aus. Über meine Labels lässt sich hier streiten, denn der Besucher hat um keinen der beiden Pfade klar gebeten. Genau deshalb sind diese Beispiele nützlich. Die Modelle waren sich uneins, aber die Antworten aus einem einzigen Wort gaben dem Workflow keine Möglichkeit, die Mehrdeutigkeit zu erkennen.
2. Das Modell wählte richtig, der Parser nicht
Claude Haiku 4.5 wählte bei allen 30 Nachrichten den vorgesehenen Zweig. Das Problem kam mit „I paid yesterday but my plan still says Free“. Es gab das richtige Label zurück und schrieb dann eine Erklärung dazu, obwohl die Anweisung verlangte, dort aufzuhören.
Diese zusätzliche Erklärung änderte, wie der Parser die Antwort behandelte. Da die Antwort kein exaktes Label mehr war, suchte der Code in der Reihenfolge der Zweige nach Label-Wörtern. Er fand „refund“ in der Erklärung und wählte den ersten Zweig, also den Erstattungspfad. Das Modell hatte „support“ gewählt, aber unser Code hätte den Besucher woandershin geschickt. Ich habe dieselbe Nachricht noch viermal geschickt. Zwei Antworten enthielten eine Erklärung, zwei nur das Label.
DeepSeek hatte dreimal ähnliche Probleme mit dem Format. Eine Antwort war ein Satz, der beide Labels enthielt. Zwei andere gaben „help“ zurück, was kein gültiges Label ist, also fiel der Parser auf den ersten Zweig zurück. Das sind 4 der 20 Fehler. In jedem Fall lag das Problem darin, wie die Antwort formatiert und gelesen wurde, nicht in einem Missverständnis der Anfrage.
3. Es wählte falsch
Claude 3 Haiku schickte 8 der 13 Erstattungsnachrichten zum Support. Eine davon war „Please refund my last payment, I cancelled before the renewal“. Ich habe diese Nachricht noch dreimal geschickt und bekam „support“, „support“ und dann „refund“. Claude 3 Haiku war das schnellste LLM in diesem Test, und sein Preis war niedrig. Trotzdem behandelte dieses Modell von 2024 ausdrückliche Erstattungswünsche nicht verlässlich genug, als dass ich es in diesem Workflow einsetzen würde.
Hat der Workflow eine Antwort erst einmal auf „refund“ reduziert, geht der Grund für diese Wahl leicht verloren. Dahinter kann ein klares Anliegen stecken, eine mehrdeutige Nachricht oder ein Fehler beim Parsen.
Geschwindigkeit und Kosten
Genauigkeit war nur ein Teil dessen, was ich verstehen wollte. Die nächsten beiden Diagramme zeigen, wie lange Besucher auf eine Routing-Entscheidung warten würden, bei einem typischen und bei einem langsameren Aufruf.
Ein paar Details halfen mir, die Zeiten einzuordnen.
- Reasoning kostete bei einer kurzen Antwort Zeit und Geld. Mit seiner Standardeinstellung verbrauchte GPT-5 nano etwa 140 versteckte Reasoning-Tokens, bevor es ein Label zurückgab. Es war zweieinhalbmal so langsam und siebenmal so teuer wie dasselbe Modell mit heruntergeregeltem Reasoning, bei demselben Ergebnis, 30 von 30. Auch DeepSeek V4 Pro dachte vor der Antwort nach und verbrauchte dabei etwa 80 Tokens. Das Reasoning herunterzuregeln, ist für diese Aufgabe einen Versuch wert, aber danach muss die Genauigkeit erneut geprüft werden, denn DeepSeek V4 Flash verfehlte ohne Reasoning drei Nachrichten mehr.
- Bei Jev machte die Verbindung viel aus. Sein Server meldete bei jedem Aufruf 0,10 Sekunden Verarbeitung. Ein Großteil der übrigen Zeit schien auf das Netz zu entfallen. Die API läuft im Westen der USA, und ein Hin- und Rückweg von Deutschland dauert etwa 0,2 Sekunden. Der Aufbau einer neuen sicheren Verbindung kostet noch einmal etwa 0,6 Sekunden. Mit offen gehaltener Verbindung dauerte eine Entscheidung nur 0,32 Sekunden. Mit einer neuen Verbindung für jeden Aufruf war Jev nicht schneller als GPT-4.1 mini, Claude Haiku 4.5 oder GPT-5 nano mit minimalem Reasoning.
- Die Zeiten von DeepSeek schwankten zwischen den Anbietern. OpenRouter verteilte die Aufrufe auf sieben bis neun Hosting-Anbieter, und einzelne Aufrufe dauerten zwischen 0,6 und 12 Sekunden. Ein einzelner fest gewählter Anbieter könnte die Zeiten gleichmäßiger machen, aber das habe ich hier nicht getestet. Ich wollte sehen, wie es sich mit der Standardeinrichtung verhält.
Was jede Entscheidung kostet
Routing läuft bei jeder Nachricht, also vervielfacht sich sein Preis mit jeder Nachricht, die ein Chatbot erhält. Deshalb lohnt sich ein genauerer Blick auf die Kosten pro Entscheidung, auch wenn ein einzelner Aufruf nur einen winzigen Bruchteil eines Cents kostet.
Damit man sich diese Zahlen besser vorstellen kann, hier dieselbe Liste bei einer Million gerouteter Nachrichten im Monat, neben der Genauigkeit jeder Einstellung.
| Einstellung | Richtig | Pro 100.000 Entscheidungen | Pro Million Entscheidungen |
|---|---|---|---|
| DeepSeek V4 Flash, Reasoning aus | 25 von 30 | 0,33 $ | 3,30 $ |
| DeepSeek V4 Flash, Standard-Reasoning | 28 von 30 | 0,73 $ | 7,30 $ |
| GPT-5 nano, minimales Reasoning | 30 von 30 | 1,03 $ | 10,30 $ |
| Jev | 30 von 30 | 1,41 $ | 14,10 $ |
| Claude 3 Haiku | 22 von 30 | 1,90 $ | 19,00 $ |
| GPT-4.1 mini | 30 von 30 | 2,52 $ | 25,20 $ |
| DeepSeek V4 Pro, Reasoning aus | 28 von 30 | 3,16 $ | 31,60 $ |
| GPT-5 nano, Standard-Reasoning | 30 von 30 | 7,40 $ | 74,00 $ |
| Claude Haiku 4.5 | 29 von 30 | 9,06 $ | 90,60 $ |
| DeepSeek V4 Pro, Standard-Reasoning | 28 von 30 | 12,26 $ | 122,60 $ |
Bei einer Million Entscheidungen im Monat kämen GPT-5 nano mit minimalem Reasoning, Jev und GPT-4.1 mini auf 10,30 $, 14,10 $ und 25,20 $. GPT-5 nano mit seinem Standard-Reasoning käme für dieselben 30 von 30 auf 74,00 $, und DeepSeek V4 Pro mit Standard-Reasoning auf 122,60 $ für ein schlechteres Ergebnis. DeepSeek V4 Pro mit Standard-Reasoning kostet 37-mal so viel wie DeepSeek V4 Flash ohne Reasoning, und der größte Teil dieses Abstands kommt von zwei Dingen, die ich steuern kann: ob das Modell nachdenkt und wie viel es schreibt.
Die günstigste Einstellung, DeepSeek V4 Flash ohne Reasoning, war auch eine der ungenauesten, und dort liegen die größeren Kosten. Ein Routing-Aufruf kostet etwa ein Tausendstel Cent. Ein Besucher auf dem falschen Pfad kostet eine Support-Unterhaltung, und wenn der Erstattungspfad Geld auszahlt, auch noch die Erstattung. Eine einzige irrtümliche Erstattung eines Abos für 29 $ kostet mehr als die Rechnung für das Routing einer Million Nachrichten mit GPT-5 nano, Jev oder GPT-4.1 mini. Ich würde einen Router nicht allein nach dem Preis wählen. Unter den Routern, die richtig entscheiden, darf der Preis aber den Ausschlag geben, und die Token-Rechnungen zeigen, woher er kommt.
Wofür Sie tatsächlich bezahlen
Ein niedriger Token-Preis sagt noch nicht alles. Jedes Modell brauchte für dieselbe Entscheidung unterschiedlich viele Tokens, und manche berechneten zusätzlich ihr Reasoning.
- Vergleichen Sie die Kosten einer Entscheidung, nicht nur eines Tokens. Jev zählte 336 Input-Tokens für eine Anfrage, für die der LLM-Prompt etwa 54 brauchte. Seine Fragevorlage wird mitberechnet. Sein Input-Preis ist zwar fast zehnmal niedriger als der von GPT-4.1 mini, aber es braucht sechsmal so viele Tokens, und damit landen die Kosten einer Entscheidung etwa im Bereich von GPT-5 nano. DeepSeek V4 Flash hat einen niedrigeren Token-Preis und braucht nur ein Siebtel der Input-Tokens, was seine niedrigeren Gesamtkosten mit erklärt.
- Zusätzliche Erklärungen stehen auch auf der Rechnung. Claude Haiku 4.5 kam im Schnitt auf 7 Output-Tokens, während eine Antwort aus einem Wort 4 braucht. Seine gelegentlichen Erklärungen machen den Unterschied aus. Bei 5 $ pro Million Output-Tokens hatten diese zusätzlichen Wörter den höchsten Output-Preis in diesem Test.
- Die Rechnung von Jev war am leichtesten vorherzusagen. Sein Output ist kostenlos, und es hat keine Reasoning-Phase, also hängen die Kosten nur von der Länge der Anfrage ab. Die Rechnungen der LLMs schwankten mit dem, was jedes Modell zu schreiben beschloss, ob das die Erklärungen von Claude Haiku 4.5 waren oder das Reasoning von GPT-5 nano.
- Mehr Reasoning verbesserte dieses Ergebnis nicht. GPT-5 nano verbrauchte im Schnitt 141 Reasoning-Tokens, um zwischen zwei Labels zu wählen. Hier machte diese zusätzliche Arbeit es nicht genauer als minimales Reasoning.
Wie die Konfidenz dem Workflow hilft, besser nachzufragen
Die Konfidenzwerte von Jev waren für meinen Workflow der nützlichste Teil des Tests. Alle seine Entscheidungen stimmten mit meinen Labels überein, und seine Werte hoben zugleich die Nachrichten hervor, bei denen eine Rückfrage sinnvoll wäre. Das ist vielversprechend, auch wenn diese kleine Stichprobe nicht belegen kann, wie gut die Werte allgemein kalibriert sind.
Mit einem Schwellenwert von 0,8 würden genau zwei der 30 Nachrichten eine Rückfrage auslösen. Bei beiden würde ich selbst nachfragen wollen. „I want to cancel“ kann heißen, dass der Besucher eine Erstattung möchte, oder einfach, dass er Hilfe braucht, um den Button zum Kündigen zu finden. „this is not working and I paid for it“ drückt Ärger aus, sagt aber noch nicht, wie wir dem Besucher helfen sollen.
Bei genau diesen beiden Nachrichten waren sich auch die LLMs über den Pfad uneins.
| Nachricht | Zum Support geschickt von | Zur Erstattung geschickt von | Konfidenz von Jev |
|---|---|---|---|
| „this is not working and I paid for it“ | GPT-5 nano, GPT-4.1 mini, Claude Haiku 4.5, Claude 3 Haiku, Jev | DeepSeek V4 Flash und V4 Pro, in jeder Einstellung | 0,21 |
| „I want to cancel“ | GPT-5 nano, GPT-4.1 mini, Claude Haiku 4.5, Claude 3 Haiku, DeepSeek V4 Pro mit Reasoning, Jev | DeepSeek V4 Flash in beiden Einstellungen, DeepSeek V4 Pro ohne Reasoning | 0,54 |
Bei den Nachrichten, bei denen die LLMs uneins waren, gab Jev niedrigere Konfidenzwerte zurück. Der Workflow könnte diese Werte nutzen, um nachzufragen, bevor er weitermacht.
Der Konfidenzwert ist etwas anderes als die Wahrscheinlichkeit, die dem gewählten Pfad zugewiesen wird. Mit beiden zusammen lassen sich die sechs vagen Nachrichten leichter deuten.
| Nachricht | Wahl | Aufteilung | Konfidenz | Was der Workflow tut |
|---|---|---|---|---|
| „Refund“ | refund | 100 / 0 | 1,00 | Er nimmt den Erstattungspfad. |
| „I want to cancel“ | support | 77 / 23 | 0,54 | Er fragt den Besucher, welches von beiden er meint. |
| „this is not working and I paid for it“ | support | 61 / 39 | 0,21 | Er fragt den Besucher, welches von beiden er meint. |
Nach dieser Regel gingen die anderen 28 Nachrichten direkt auf ihren gewählten Zweig. Die zwei unklaren bekämen eine Frage mit zwei Buttons, mit denen der Besucher wählt, was er braucht.
Die Konfidenz zu prüfen, kostet nichts extra. Der Wert kommt in derselben Antwort wie die Wahl, es gibt also keinen zweiten Aufruf, den man bezahlen oder abwarten muss. Der einzige Preis ist eine zusätzliche Frage für die Besucher, deren Nachricht unklar war, in diesem Test 2 von 30.
Was TypeSafe verspricht und was ich gemessen habe
Ich habe die Ergebnisse auch mit den Aussagen auf der Website von TypeSafe verglichen. Manche passen zu dem, was ich beobachtet habe, andere bräuchten einen breiteren Vergleich oder mehr Tests, als ich hier gemacht habe.
| Aussage | Was ich gesehen habe |
|---|---|
| Antwortet in etwa einer Zehntelsekunde | Das stimmt für den Server, der bei jedem Aufruf 0,10 s meldete. Aus Europa sollten Sie mit etwa 0,3 s bei offener Verbindung rechnen. |
| Hunderte Male günstiger als ein LLM | Für eine kleine Frage stimmte das nicht. GPT-5 nano mit heruntergeregeltem Reasoning kostete etwa gleich viel, DeepSeek V4 Flash weniger, und GPT-4.1 mini kostete weniger als das Doppelte. Ein Vergleich mit großen LLM-Workflows könnte anders aussehen, aber das habe ich hier nicht getestet. |
| Liefert kalibrierte Konfidenz | Das Muster war nützlich, aber die Stichprobe ist zu klein, um eine Kalibrierung zu belegen. Bei klaren Nachrichten lag die Konfidenz nahe 1,00, und bei den beiden unklaren, bei denen die LLMs uneins waren, fiel sie auf 0,21 und 0,54. |
| Viele Fragen in einem Aufruf, mit wenig zusätzlicher Zeit | Das ist dokumentiert, aber ich habe es hier nicht gemessen. So könnte ein einziger Aufruf nach dem Pfad fragen, danach, ob ein Mensch gebraucht wird, und danach, ob die Nachricht ein Angriff ist. |
Was sich dadurch in unserem Workflow ändert
Ich füge ein Entscheidungsmodell als optionale Möglichkeit hinzu, einen Entscheidungsschritt auszuführen, neben der bestehenden Option mit einem LLM. Der Test hat auch Verbesserungen am Schritt selbst aufgezeigt.
- Das LLM bleibt der Standard. Es unterstützt unsere mehrsprachigen Workflows, und wer ChatFrom nutzt, kann bei dem Anbieter bleiben, den er schon gewählt hat.
- Der Entscheidungsschritt bekommt einen Schwellenwert für die Konfidenz und einen Zweig „wenn unsicher“. Dieser Zweig führt zum bestehenden Schritt, der dem Besucher eine Frage mit Buttons stellt.
- Der Parser prüft zuerst das erste Wort. Beginnt eine Antwort mit einem gültigen Label, wählt er diesen Zweig, auch wenn eine Erklärung folgt. Allein das hätte das Ergebnis von Claude Haiku 4.5 von 29 auf 30 gebracht.
- Unerkannte Antworten führen zu einer Frage. Findet sich kein Label, sollte der Workflow den Besucher fragen, was er meint, statt stillschweigend den ersten Pfad zu nehmen.
- Das Reasoning wird reduziert, dann wird die Genauigkeit erneut geprüft. Die Ergebnisse geben mir Grund zu bezweifeln, dass dieser Schritt etwas davon hat, 140 Tokens lang nachzudenken, bevor er ein einziges Wort zurückgibt.
Bevor ich diese Änderungen ausliefere, muss ich noch drei Einschränkungen berücksichtigen.
- Ich habe nur Englisch getestet. Deutsch und andere Sprachen muss ich testen, bevor ich es ausliefere. TypeSafe erwartet, dass sich seine neuere Version, Jev 1.14, vor allem in anderen Sprachen verbessert.
- Ich muss prüfen, wohin die Daten gehen. Die API von Jev läuft in den USA. OpenRouter hat die DeepSeek-Aufrufe außerdem auf 14 Hosting-Unternehmen verteilt, die ich nicht einzeln ausgewählt hatte. Für diese erfundenen Nachrichten war das in Ordnung. Bevor ich echte Nachrichten von Besuchern eines europäischen Unternehmens verwende, muss ich die Bedingungen zur Datenverarbeitung prüfen und einen Anbieter ausdrücklich auswählen.
- Die Stichprobe ist klein. Dreißig Nachrichten und ein Durchlauf pro Einstellung sind ein Anfang. Wie zwei der Beispiele gezeigt haben, kann dieselbe Nachricht beim nächsten Mal eine andere Antwort bekommen. Ich sehe das als praktischen Test unseres Workflows, nicht als breiten Benchmark der Modelle.
Häufige Fragen
Ist Jev beim Intent-Routing genauer als ein LLM?
In diesem kleinen Test lag Jev bei der Routing-Aufgabe mit zwei Pfaden gleichauf mit GPT-5 nano und GPT-4.1 mini, bei 30 von 30. Claude Haiku 4.5 kam auf 29, DeepSeek V4 Flash und Pro mit Standard-Reasoning auf 28 und Claude 3 Haiku auf 22. Jev lieferte außerdem Konfidenzwerte, nach denen die LLMs in diesem Aufbau nicht gefragt wurden.
Welches LLM eignet sich am besten für die Intent-Erkennung in einem Chatbot?
Für diesen Workflow waren GPT-4.1 mini und GPT-5 nano mit minimalem Reasoning die stärksten LLMs in meinem Test. Beide kamen auf 30 von 30, mit Median-Zeiten unter einer Sekunde und Kosten von 1 $ bis 2,60 $ pro 100.000 Entscheidungen. Auch Claude Haiku 4.5 wählte jedes Mal den richtigen Zweig, aber eine zusätzliche Erklärung brachte unseren Parser durcheinander, und es kostete etwa 9 $. DeepSeek V4 Flash war am günstigsten, wich bei vagen Nachrichten aber von meinen Labels ab. OpenAI will GPT-4.1 mini und GPT-5 nano aus seiner API nehmen, und GPT-6 Luna, das OpenAI als Ersatz für GPT-4.1 mini empfiehlt, kam bei meinem zweiten Durchlauf des Tests ebenfalls auf 30 von 30.
Was kostet die Intent-Erkennung pro Nachricht?
Die Kosten lagen bei einem kleinen Bruchteil eines Cents pro Nachricht, von unter einem Tausendstel bis über ein Hundertstel Cent. Über die getesteten Einstellungen waren es 0,33 $ bis 12,26 $ pro 100.000 Entscheidungen. Jev, GPT-4.1 mini und GPT-5 nano, die drei Modelle mit 30 von 30, hatten jeweils eine Einstellung im Bereich von 1 $ bis 2,60 $.
Ist ein Entscheidungsmodell für das Routing günstiger als ein LLM?
Für eine kleine Frage ist ein Entscheidungsmodell nicht viel günstiger als ein kleines LLM, und manche LLMs kosten weniger. Jev kostete in diesem Test 1,41 $ pro 100.000 Entscheidungen, zwischen GPT-5 nano mit minimalem Reasoning mit 1,03 $ und GPT-4.1 mini mit 2,52 $. Es war deutlich günstiger als GPT-5 nano und DeepSeek V4 Pro mit ihrem Standard-Reasoning, die 7,40 $ und 12,26 $ kosteten, und günstiger als Claude Haiku 4.5 mit 9,06 $. DeepSeek V4 Flash kostete weniger als alle anderen, war aber ungenauer.
Welchen Schwellenwert für die Konfidenz sollte ich verwenden?
Ich habe 0,8 verwendet, womit 2 der 30 Nachrichten an eine Rückfrage gingen. Sehen Sie das als Ausgangspunkt für eigene Tests, nicht als allgemeingültige Einstellung. Versehen Sie ein paar Dutzend Nachrichten aus Ihrem eigenen Workflow mit Labels, prüfen Sie die Werte bei Anliegen, bei denen Sie nachfragen würden, und probieren Sie einen Schwellenwert knapp darüber. Prüfen Sie dann, welche Nachrichten er durchlässt und welche er anhält.
Warum war das schnelle Modell in der Praxis nicht schneller?
Die Verbindung und die Entfernung zur API machten einen Großteil der Wartezeit aus. Jev meldete 0,10 Sekunden Verarbeitung, der Rest der gemessenen Zeit lag außerhalb davon. Eine offene Verbindung wiederzuverwenden, half in diesem Test. Wenn Sie aus der Region Ihres eigenen Servers messen, bekommen Sie eine brauchbarere Vorstellung davon, wie schnell es für Ihre Besucher sein wird.
Angefangen habe ich mit der Frage, ob ein LLM das richtige Modell für diesen Routing-Schritt ist. Der Test brachte mich zu einer nützlicheren Frage, nämlich was der Workflow als Nächstes tun soll, wenn das Anliegen des Besuchers unklar ist. Jev, GPT-4.1 mini und GPT-5 nano lagen bei der Genauigkeit gleichauf, aber Genauigkeit allein löste weder mehrdeutige Anfragen noch Probleme beim Parsen. Die Konfidenzwerte von Jev gaben mir einen praktischen Weg, eine Rückfrage einzubauen. Zusammen mit einem besseren Parser und einem ausdrücklichen Fallback ist das die Änderung, die ich in ChatFrom bringen möchte.
Die Kosten wiesen in dieselbe Richtung. GPT-5 nano mit minimalem Reasoning, Jev und GPT-4.1 mini waren alle günstig, mit 1,03 $ bis 2,52 $ pro 100.000 Entscheidungen, die Preisliste konnte das also nie allein entscheiden. Was die Rechnung bewegte, war, wie jedes Modell eingesetzt wurde. Das Reasoning auf dem Standard zu lassen, versiebenfachte die Kosten von GPT-5 nano bei gleichem Ergebnis, und bei Claude Haiku 4.5 kostete jedes zusätzliche Wort seiner Erklärungen Geld. Die größeren Kosten liegen ganz außerhalb der API-Rechnung, bei einem Besucher auf dem falschen Pfad oder einer Erstattung, die auf gut Glück angestoßen wurde. Ein Router, der sagen kann, dass er unsicher ist, kostet pro Aufruf etwa gleich viel, und er ist die eine Stelle, an der ich diese größeren Kosten senken kann.
Später habe ich denselben Test noch einmal durchgeführt, mit der Decisions API von OpenAI, Jev und vier LLMs. Die Ergebnisse stehen in OpenAIs Decisions API im Test: Intent-Routing für Chatbots.
Mit ChatFrom bauen Sie solche Workflows visuell, mit einem Entscheidungsschritt, einem Zweig für jedes Anliegen und einer Rückfrage, wenn die Anfrage des Besuchers unklar ist. Der Workflow für Abonnements ist ein Beispiel dafür, bei dem ein Entscheidungsschritt eine Kündigung und eine Frage zur Abrechnung auf verschiedene Pfade schickt. Sie können im kostenlosen Hobby-Tarif mit 50 Credits im Monat und ohne Kreditkarte starten und auf der Preisseite sehen, was Pro für 29 $ im Monat und Business für 49 $ im Monat enthalten, oder auf der Vergleichsseite, wie sich ChatFrom von anderen Chatbot-Plattformen unterscheidet.