Перейти до вмісту

Фото і голос ​

Одні люди надсилають переважно фото, інші переважно розмовляють голосовими. iRoof.top зберігає обидві звички.

Розуміння ​

У медіатеці Описати з ШІ описує стікери, GIF і фото та розпізнає голосові повідомлення за допомогою медіамоделі, яка має приймати зображення й аудіо. Задайте її в Налаштуваннях або через OPENAI_MEDIA_MODEL, наприклад google/gemini-3.5-flash-lite на OpenRouter. Описи створюються лише тоді, коли ви натискаєте кнопку, а з локальною моделлю й офлайн-режимом фото ніколи не покидають ваш комп'ютер.

text
<голосове 0:05: «що було сказано»>

Коли переважає один тип, профіль стилю про це повідомляє, наприклад «переважно розмовляє голосовими (10 з 10)».

Великі медіатеки ​

Довгий чат може містити десятки тисяч стікерів, GIF і фото. Медіатека допомагає витрачати токени моделі там, де це найважливіше:

Елемент керуванняЩо робить
Вкладки типівУсі, Відсутні, Описані, Стікери, GIF, Фото, Відео, Голос, з кількістю
Сортуваннянайчастіше використовувані (типово), найрідше, нещодавно використані, вперше використані
Кількість використаньприховує елементи, використані менше 2, 3, 5, 10 або 25 разів
Пошукв описах і ідентифікаторах

Описати N з ШІ описує саме те, що показано і ще не описано, зверху вниз у вибраному порядку, по чотири за раз. Кожен опис зберігається, щойно надходить. Рядок прогресу показує, скільки готово, помилки, швидкість і залишок часу. Та сама кнопка стає Зупинити: ви можете зупинити будь-коли, а наступний запуск продовжить із рештою. Хороший початок для великого чату: Спершу найчастіше використовувані і Використані 3 або більше разів.

Ваші голосові повідомлення ​

Коли поле введення порожнє, кнопка надсилання стає мікрофоном, як у Telegram. Запис конвертується у WAV у браузері, завантажується і розпізнається. Відвідувачі посилань для спільного доступу теж можуть записувати.

INFO

Браузери дозволяють запис лише на https:// або localhost.

Фото і голос персонажа ​

Під'єднайте MCP-сервер, який створює зображення, і той, що говорить:

json
{
  "img": {"command": "npx", "args": ["-y", "@dtst/img"],
          "env": {"OPENAI_BASE_URL": "https://openrouter.ai/api/v1", "OPENAI_API_KEY": "${OPENAI_API_KEY}", "OPENAI_MODEL": "meta/muse-image"}},
  "tts": {"command": "npx", "args": ["-y", "@dtst/tts"],
          "env": {"OPENAI_BASE_URL": "https://openrouter.ai/api/v1", "OPENAI_API_KEY": "${OPENAI_API_KEY}",
                  "OPENAI_MODEL": "google/gemini-3.8-flash-lite-tts", "OPENAI_VOICE": "Laomedeia"}}
}

Тоді персонажу стають доступні ще дві дії:

ДіяЩо робить
send_voice {text}викликає інструмент мовлення (WAV, у разі помилки повтор у mp3) і надсилає голосове
send_photo {prompt, caption?}викликає інструмент зображень і надсилає фото
  • Коли під'єднано інструмент мовлення, розпізнані голосові самого персонажа відтворюються як send_voice, щоб модель бачила звичку у формі, яку може продовжити.
  • Голос у Деталях чату (наприклад Puck) дає персонажу власний голос.
  • Будь-яке інше зображення чи аудіо, яке повертає інструмент MCP, стає медіа чату gen_… (перевіряється за вмістом, до 25 МБ, видаляється разом із чатом).

Вартість

Кожне фото чи голосове — це додатковий платний виклик: близько $0,01 за зображення з meta/muse-image і кілька секунд TTS.

Поширюється за ліцензією MIT.