サポートエージェントは言語の問題である前に振り分けの問題です。この作業台は入ってくる各ターンを分類し、それぞれ別の経路へ送ります。だから1つのアシスタントが1つの平坦なプロンプトに潰れずに済みます。

セルフホスト型のカスタマーサービス作業台で、オペレーター向けのチャットコンソールと、同じバックエンドで動くサポートエージェントを組み込んだデモECストアフロントを組み合わせています。回答はSSEでトークン単位に流れ、会話はユーザーごとに永続化されます。ルーターが各ターンをgeneral、additional、graph、image、fileに分類してから、エージェントが何をするかを決めます。

モードは飾りではなく実体です。Deep-thinkingはターンを推論モデルの経路に通し、モデルが思考ブロックを返した場合はそれを描画します。Web検索はアシスタント自身が検索するかどうかを決め、出典をサイドパネルに引用します。アップロードされた商品写真はビジョンモデルに渡り、ストアの口調で答えます。商品と注文の質問は任意のNeo4j商品グラフに対するtext-to-Cypherを通り、回答を流す前にハルシネーションの採点とガードレールが適用されます。

JWTアカウント、MySQLの会話保存、Redisのセマンティックキャッシュが配線されており、Redisが落ちてもキャッシュは穏やかに縮退します。ナレッジベースの取り込みだけはこのビルドでは機能しません。トグルは残されており、コンソールを作り直さずに完成させられます。READMEにもそのとおり書かれています。

読むべきは振り分けとガードレールです。ターンごとの分類、別経路の推論、アシスタントが選んで呼ぶ検索と回答の隣の出典、ストアの口調で答える画像の質問、そして返信を流す前にハルシネーションを採点されるCypherクエリです。