Zum Inhalt springen

Die Open-Source-Engine von ChatFrom

Aktualisiert am

chatbot-engine, der Apache-2.0-Dienst, der die Antworten von ChatFrom schreibt: was er tut, wie Sie ihn selbst betreiben und warum er Open Source ist.

Was ist chatbot-engine?

chatbot-engine ist der Open-Source-Dienst, der die Antworten von ChatFrom schreibt. Er beantwortet die Fragen an jeden Chatbot auf chatfrom.io, in dessen Website-Widget, auf dessen Freigabeseite und in dessen Chat-Apps. Veröffentlicht ist er unter der Apache-2.0-Lizenz auf github.com/rouzbeh-abadi/chatbot-engine.

Er ist der KI-Teil eines Chatbots: die Suche in einer Wissensdatenbank, das Prompting eines Sprachmodells, das Streamen der Antwort und die Schleife, in der das Modell Tools aufruft und ihre Ergebnisse liest. Er ist ein einzelner zustandsloser HTTP-Dienst in einem Docker-Container.

Was macht die Engine?

  • Antworten aus Ihren Dokumenten: Dokumente werden in Textstellen geteilt und indexiert; jede Frage wird mit hybrider Suche beantwortet, die bedeutungsbasierte Suche mit Stichwortsuche kombiniert, gefolgt von einem optionalen Reranking.
  • Tool-Aufrufe über MCP: Das Modell kann Tools aufrufen, die in Ihrem eigenen Backend laufen, beschränkt auf die Tools, die die jeweilige Anfrage erlaubt.
  • Gestreamte Antworten: mit den Quellen, Tokens, Tool-Aufrufen und Kosten jeder Antwort.
  • Jedes Modell: Das Modell wird pro Anfrage gewählt, über OpenRouter.
  • Jede Sprache: Eine Frage in einer Sprache wird auch aus Dokumenten in einer anderen beantwortet.
  • Workflows: Eine Anfrage kann einen Workflow mitbringen, einen Graphen aus Schritten (Suche, Modell, Bedingung, Tool, Antwort, Übergabe), den die Engine mit LangGraph ausführt.
  • Dateien in der Unterhaltung: Sie liest eine PDF-, Text- oder Markdown-Datei oder ein Bild, das jemand mitten in der Unterhaltung sendet.

Sie ist in Python mit FastAPI und LangChain geschrieben, speichert Vektoren in Chroma und wird mit RAGAS-Auswertungen getestet.

Kann ich ChatFrom selbst betreiben?

Die Engine können Sie selbst betreiben: Sie ist ein Docker-Container mit einer HTTP-API, und Ihr eigenes Backend schickt ihr für jede Anfrage den Prompt, das Modell und die Tools. Das Dashboard, das Website-Widget, die Kanäle für Chat-Apps, die Verbindungen und die Abrechnung sind das gehostete Produkt von ChatFrom und nicht Open Source.

Warum ChatFrom nutzen, statt die Engine selbst zu betreiben?

Die Engine ist das Gehirn. ChatFrom ist alles drumherum: das Dashboard, um Wissen und Verhalten zu verwalten, das Website-Widget und der Freigabelink, WhatsApp, Telegram, Slack, Discord, Crisp und E-Mail, die Verbindungen zu Shopify, Stripe, Google Sheets, Cal.com und Calendly, Workflows in einem visuellen Editor, Unterhaltungen, Analysen und Auswertungen, mit Hosting in Frankfurt. Wer die Engine selbst betreibt, muss all das selbst bauen.

Warum ist die Engine Open Source?

Damit jeder genau nachlesen kann, wie die Suche im Wissen, die Tool-Aufrufe und die Workflows funktionieren, statt einer Blackbox zu vertrauen. Die meisten Chatbot-Plattformen halten genau diesen Teil unter Verschluss.