外部API不要で試せる、ローカルLLMロールプレイ実験環境
システム概要
本システムは、ローカル環境で動作する小規模GPTモデルを使ったロールプレイ会話アプリです。
FastAPI + WebSocket でチャットを受け取り、会話履歴付きプロンプトからローカル推論して返答します。
外部LLM APIに依存しないため、学習・推論・検証を手元PCで完結できます。
tiny.txtでカスタマイズ可能
data/tiny.txt の対話データを編集して、応答傾向を調整できます。
SYSTEM / USER / ASSISTANT / <EOT> 形式で例文を追加すると、返答の方向性を学習しやすくなります。
例: USER: 簡単な文章を使って動作を確認しています。
例: ASSISTANT: シンプルな文章から始めるのが良いです。
このように「どんな返し方をしてほしいか」を会話例で与えることで、モデルのふるまいを寄せられます。
人格（ふるまい）を作る会話データでカスタマイズ可能
人格カスタマイズは次の2層で行えます。
即時制御: system_prompt を変えて、その場で口調や役割を切り替える
恒常化: tiny.txt の会話データを増やして、モデルの基本傾向として定着させる
さらに送信時の軽量追加学習により、セッション中にも傾向を強められます。
本当のLLMとの違い
このプロジェクトは「ローカルで動くミニLLM実験環境」であり、商用の大規模LLMとは性質が異なります。
モデル規模: 本プロジェクトは小規模、商用LLMは桁違いに大規模
学習データ量: tiny.txt中心の小データ、商用LLMは巨大コーパス
汎用性: 本プロジェクトは特定用途に強い、商用LLMは幅広い知識と推論に強い
用途: 本プロジェクトはPoC・教育・検証向け、商用LLMは本番運用向け
キャプチャ
ライブチャット例
tiny.txt編集によるカスタマイズ例
大規模言語モデルの仕組みを搭載しただけで、あくまで機械学習の部分はテキストを読み込んでそれを学習しているだけですが、簡易的であればこのように作成することが可能です。
