モデルの開発を始める
MDK (Model Development Kit)は、ドキュメントに関する指示応答ができるようにファインチューンされたLLMを開発するためのシステムです。ユーザーはMDKで作ったLLMを利用して独自のアプリケーションを簡単に構築することができます。
要件
MDKを動作させるには、GPUが搭載されたサーバーが必要です。そのうえで、一般的なAI学習環境は構築済みであることが想定されています。
そのような環境として、Fixstars AI Booster (FAIB)の利用が推奨されています。 以下のいくつかの説明でも、FAIB環境・サーバーを前提としている場合がありますので、MDKを快適かつ高速に実行するためにも、FAIBのご利用を検討ください。
解説
LLMアプリケーションを開発するために一般的に求められる知識についての解説記事です。LLMアプリケーションに初めて触れる方は、ご一読いただくと以降のチュートリアル等が進めやすくなります。
チュートリアル
上から順番に実行するだけでMDKの主要な機能すべてを試すことができるチュートリアルを用意しました。はじめて利用する方はこちらからお試しください。
ハウツー
より良いモデルを作るためには、各種パラメータやプロンプトの調整が欠かせません。MDKでは調整する対象がモジュールごとに分かれており、下記のドキュメントに沿って簡単に調整できるように設計されています。
モジュール名と機能の対応については、上記の解説もしくはチュートリアルを参照ください。
dataset_converter
trainer
dataset_evaluator
model_evaluator
manual_dataset_evaluator
launcher
pipeline
- その他