本文へ移動

写真と音声 ​

写真を主に送る人もいれば、ボイスメッセージで主に話す人もいます。iRoof.top は、どちらの習慣も保持します。

理解する ​

メディアライブラリのAI で説明は、スタンプ、GIF、写真を説明し、ボイスメッセージを文字起こしします。どちらも、画像と音声を受け付ける必要があるメディアモデルを使います。設定で、または OPENAI_MEDIA_MODEL で設定してください。例えば OpenRouter の google/gemini-3.5-flash-lite です。説明はボタンを押したときだけ作られ、ローカルのモデルとオフラインモードを使えば、写真があなたのコンピュータの外に出ることはありません。

text
<ボイスメッセージ 0:05:「話された内容」>

1 つの種類が多数を占めると、スタイルプロファイルがそれを示します。例えば「主にボイスメッセージで話す(10 件中 10 件)」です。

大きなライブラリ ​

長いチャットには、何万ものスタンプ、GIF、写真がありえます。メディアライブラリは、モデルのトークンを大切なところに使う手助けをします。

コントロール役割
種類のタブすべて、未説明、説明済み、スタンプ、GIF、写真、動画、ボイス(件数付き)
並べ替え最も使われた(既定)、最も使われていない、最近使われた、最初に使われた
使用回数2、3、5、10、25 回未満しか使われていない項目を隠す
検索説明と ID の中から

N 件を AI で説明は、表示されていて未説明のものを、選んだ順に上から下へ、4 件ずつ正確に説明します。各説明は届いた時点で保存されます。進捗の行には、完了した件数、失敗、速度、残り時間が表示されます。同じボタンは停止に変わり、いつでも止められます。次の実行は残りから続きます。大きなチャットの良い始め方は、最も使われたものからと3 回以上使われたです。

あなたのボイスメッセージ ​

入力欄が空のとき、送信ボタンは Telegram と同じくマイクになります。録音はブラウザで WAV に変換され、アップロードされて文字起こしされます。共有リンクの訪問者も録音できます。

INFO

ブラウザは https:// か localhost でのみ録音を許可します。

ペルソナの写真と声 ​

画像を作る MCP サーバーと、話す MCP サーバーを接続します。

json
{
  "img": {"command": "npx", "args": ["-y", "@dtst/img"],
          "env": {"OPENAI_BASE_URL": "https://openrouter.ai/api/v1", "OPENAI_API_KEY": "${OPENAI_API_KEY}", "OPENAI_MODEL": "meta/muse-image"}},
  "tts": {"command": "npx", "args": ["-y", "@dtst/tts"],
          "env": {"OPENAI_BASE_URL": "https://openrouter.ai/api/v1", "OPENAI_API_KEY": "${OPENAI_API_KEY}",
                  "OPENAI_MODEL": "google/gemini-3.8-flash-lite-tts", "OPENAI_VOICE": "Laomedeia"}}
}

すると、ペルソナにはさらに 2 つのアクションが加わります。

アクション役割
send_voice {text}音声ツールを呼び出して(WAV、失敗時は mp3 で再試行)、ボイスメッセージを送る
send_photo {prompt, caption?}画像ツールを呼び出して、写真を送る
  • 音声ツールが接続されていると、ペルソナ自身の文字起こしされたボイスメッセージが send_voice として再生されるので、モデルは続けられる形でその習慣を見られます。
  • チャットの詳細の音声(例:Puck)で、ペルソナに独自の声を与えられます。
  • MCP ツールが返すそのほかの画像や音声は、チャットのメディア gen_… になります(内容で確認され、25 MB まで。チャットと一緒に削除されます)。

費用

写真やボイスメッセージは、それぞれ追加の有料呼び出しです。meta/muse-image では画像 1 枚あたり約 $0.01、音声は数秒分です。

MIT ライセンスで公開。