手動評価UIを利用する

このドキュメントでは、手動評価のチュートリアルで使用したUIについての各種機能を説明します。

データセット評価UI

ページ送り機能

左下のpositionテキストボックスから離れた質問回答に移動できます。そのとき表示されていた質問回答が保存されないことに注意してください。

自動保存機能

10分ごとに作業結果を自動保存します。保存先は入力ファイルと同じディレクトリのexperiment_log_autosave.jsonです。

この結果からQAデータセットを作る場合は、一度src/manual_dataset_evaluator.pyでロードしてからsaveボタンで保存してください。

モデル評価UI

モデル評価UIの詳細についてはpromptfooのドキュメントを参照してください。