Zum Inhalt springen

Einen ChatFrom-Chatbot verbessern: Unterhaltungen, Analysen und Auswertungen

Aktualisiert am

Unterhaltungen lesen, Antworten korrigieren, Analysen, Auswertungen durch ein Modell eines anderen KI-Anbieters, Langfuse-Tracing und veröffentlichte Tests.

Kann ich lesen, was Menschen den Chatbot fragen?

Ja. Die Seite Unterhaltungen zeigt jede Unterhaltung aus jedem Kanal. Sie können nach denen filtern, die er nicht beantworten konnte, nach den Antworten, die schlecht bewertet wurden, und nach denen, die an Ihr Team übergeben wurden. Jede Antwort zeigt ihr Modell, ihre Tokens und ihre Kosten, und jeder Tool-Aufruf steht im Protokoll.

Wie korrigiere ich eine falsche Antwort?

Suchen Sie die Unterhaltung, klicken Sie unter der schwachen Antwort auf Korrigieren und schreiben Sie die Antwort, die Sie sich gewünscht hätten. Der Chatbot verwendet sie von da an, als Frage-Antwort-Eintrag in seinem Wissen. Sie können sich auch die Quelle ansehen, aus der die Antwort stammt, und die Seite oder das Dokument dort korrigieren.

Können Besucher Antworten bewerten?

Ja. Besucher können jede Antwort bewerten und sagen, was falsch war. Bewertungen werden nur aus dem Chat selbst angenommen und sind pro Besucher begrenzt, damit niemand sie in Massen abgeben kann.

Was zeigt die Seite Analysen?

Die letzten 7, 30 oder 90 Tage: Unterhaltungen pro Tag mit dem unbeantworteten Anteil, was sie gekostet haben und wie die Antworten bewertet wurden. Wenn Antworten mit Langfuse aufgezeichnet werden, zeigt die Seite außerdem die Antworten pro Tag, wie lange sie gedauert haben, und etwaige Fehler des Modells.

Was sind Auswertungen?

Der Bereich Auswerten ist dazu da, die Qualität zu messen, statt zu raten. Sie schreiben eine Reihe von Testfragen, jeweils mit dem, was eine gute Antwort leistet, und ChatFrom stellt sie alle Ihrem Chatbot:

  • Antworten: Ein Bewertungsmodell benotet jede Antwort von 0 bis 10 mit einer Begründung. Es stammt immer von einem anderen KI-Unternehmen als das Modell Ihres Chatbots, sodass kein Modell seine eigenen Antworten bewertet.
  • Wissenssuche: bewertet, wie gut der Chatbot Ihr Wissen gefunden und genutzt hat.

Wiederholen Sie den Durchlauf nach einer Änderung, um zu sehen, ob sie geholfen hat. Während eines Durchlaufs nutzt der Chatbot keines Ihrer Tools, sodass nichts wirklich gebucht oder gesendet wird.

Verbrauchen Auswertungen meine Credits?

Nein. Auswertungen laufen über Ihren eigenen OpenRouter-Schlüssel und werden direkt mit OpenRouter zu dessen Preisen abgerechnet, nicht über die Credits Ihres Tarifs. Den Schlüssel hinterlegen Sie auf der Seite Auswerten oder unter Einstellungen, und er gilt für alle Ihre Chatbots.

Kann ich Antworten in Langfuse nachverfolgen?

Ja, optional. Fügen Sie unter Einstellungen, Tracing die Adresse Ihres Langfuse-Projekts und seine Schlüssel ein, und jede Antwort wird dort aufgezeichnet: die Frage, die gelesenen Textstellen, der Modellaufruf und seine Kosten. Diese Daten gehen dann an Ihr eigenes Konto bei diesem Dienst.

Was ist die Seite Übersicht?

Die Seite Übersicht bringt alles zusammen: eine Checkliste für die Einrichtung, die sich von selbst abhakt, Ihre Zahlen der Woche und alles, was Ihre Aufmerksamkeit braucht.

Wie gut sind die Antworten von ChatFrom?

ChatFrom testet seine Engine mit Fragen, deren richtige Antworten bekannt sind. Die Tests rufen echte Modelle auf und werden deshalb von Hand gestartet. Dies sind die letzten Läufe. Bei den ersten beiden kamen die Antworten von GPT-5 mini, bis zum 16. Oktober 2026 das Standardmodell; der dritte lief mit GPT-6 Luna, dem heutigen Standardmodell:

  • Golden Set, 23. September 2026: 12 Fragen zu einem erfundenen Lampengeschäft, in drei Läufen gestellt und von einem Modell eines anderen Unternehmens bewertet: 9,86 von 10.
  • RAGAS, 8. September 2026: 55 Fragen aus den Beispieldokumenten der Engine: Faithfulness 0,83; Context Recall 0,92; Context Precision 0,76; Answer Relevancy 0,66.
  • Simulierte Shopify-Kunden, 22. Oktober 2026: 12 Kunden, die einen Testshop nach Bestellungen und Retouren fragen: 12 von 12 richtig bearbeitet.

Beide Arten von Tests können Sie unter Auswerten mit Ihrem eigenen Chatbot ausführen.