Перейти к содержимому

Фото и голос ​

Одни люди присылают в основном фото, другие в основном говорят голосовыми. iRoof.top сохраняет обе привычки.

Понимание ​

В медиатеке Описать с ИИ описывает стикеры, GIF и фото и расшифровывает голосовые сообщения с помощью медиамодели, которая должна принимать изображения и аудио. Задайте её в Настройках или через OPENAI_MEDIA_MODEL, например google/gemini-3.5-flash-lite на OpenRouter. Описания создаются только когда вы нажимаете кнопку, а с локальной моделью и автономным режимом фото никогда не покидают ваш компьютер.

text
<голосовое 0:05: «что было сказано»>

Когда преобладает один тип, профиль стиля об этом сообщает, например «говорит в основном голосовыми (10 из 10)».

Большие медиатеки ​

Длинный чат может содержать десятки тысяч стикеров, GIF и фото. Медиатека помогает тратить токены модели там, где это важно:

Элемент управленияЧто делает
Вкладки типовВсе, Без описания, Описанные, Стикеры, GIF, Фото, Видео, Голос, со счётчиками
Сортировкачаще всего (по умолчанию), реже всего, недавно использованные, впервые использованные
Число использованийскрывает элементы, использованные меньше 2, 3, 5, 10 или 25 раз
Поискпо описаниям и идентификаторам

Описать N с ИИ описывает именно то, что показано и ещё не описано, сверху вниз в выбранном порядке, по четыре за раз. Каждое описание сохраняется сразу по поступлении. Строка прогресса показывает, сколько готово, ошибки, скорость и оставшееся время. Та же кнопка превращается в Остановить: остановить можно в любой момент, а следующий запуск продолжит с остатка. Хорошее начало для большого чата: Сначала самые используемые и Использованные 3 и более раз.

Ваши голосовые сообщения ​

Когда поле ввода пусто, кнопка отправки становится микрофоном, как в Telegram. Запись конвертируется в WAV в браузере, загружается и расшифровывается. Посетители ссылок для общего доступа тоже могут записывать голос.

INFO

Браузеры разрешают запись только на https:// или localhost.

Фото и голос персонажа ​

Подключите MCP-сервер, который создаёт изображения, и тот, который говорит:

json
{
  "img": {"command": "npx", "args": ["-y", "@dtst/img"],
          "env": {"OPENAI_BASE_URL": "https://openrouter.ai/api/v1", "OPENAI_API_KEY": "${OPENAI_API_KEY}", "OPENAI_MODEL": "meta/muse-image"}},
  "tts": {"command": "npx", "args": ["-y", "@dtst/tts"],
          "env": {"OPENAI_BASE_URL": "https://openrouter.ai/api/v1", "OPENAI_API_KEY": "${OPENAI_API_KEY}",
                  "OPENAI_MODEL": "google/gemini-3.8-flash-lite-tts", "OPENAI_VOICE": "Laomedeia"}}
}

Тогда персонажу становятся доступны ещё два действия:

ДействиеЧто делает
send_voice {text}вызывает инструмент речи (WAV, при ошибке повтор в mp3) и отправляет голосовое
send_photo {prompt, caption?}вызывает инструмент изображений и отправляет фото
  • Если подключён инструмент речи, расшифрованные голосовые самого персонажа воспроизводятся как send_voice, чтобы модель видела привычку в той форме, которую может продолжить.
  • Голос в Сведениях о чате (например Puck) даёт персонажу собственный голос.
  • Любое другое изображение или аудио, которое возвращает инструмент MCP, становится медиа чата gen_… (проверяется по содержимому, до 25 МБ, удаляется вместе с чатом).

Стоимость

Каждое фото или голосовое — это дополнительный платный вызов: около 0,01 $ за изображение с meta/muse-image и несколько секунд TTS.

Распространяется по лицензии MIT.