LiveCaptionN

LiveCaptionN превращает ваш Android-телефон в инструмент для создания и перевода субтитров в реальном времени, который работает поверх любого другого приложения. Он прослушивает звук через микрофон или аудио текущего воспроизводимого приложения, расшифровывает услышанное слово за словом, переводит на выбранный вами язык и отображает результат в виде перетаскиваемого окна субтитров поверх того, что вы смотрите, прокручиваете или изучаете.

Обе части конвейера по умолчанию работают полностью на устройстве:

• Потоковое распознавание речи Vosk — один долгоживущий распознаватель непрерывно получает аудиофрагменты длительностью ~100 мс, поэтому субтитры отображаются мгновенно, а не порциями по 2 секунды.

• Перевод с помощью Google ML Kit на устройстве — поддерживается ~59 языков, одноразовая загрузка ~30 МБ на каждую языковую пару, затем кэшируется в автономном режиме навсегда.

Никакой учетной записи. Никакой телеметрии. Для работы конвейера по умолчанию не требуется сервер.

ОСОБЕННОСТИ

• Плавающее наложение субтитров, которое располагается поверх любого приложения, с элементами управления перетаскиванием, изменением размера жестом «щипок», паузой, сворачиванием и закрытием

• Микрофон или системный звук (через MediaProjection) подается по тому же каналу с низкой задержкой

• Потоковая передача распознавателя Vosk на устройстве — работает как Google Live Caption

• Встроенный загрузчик для дополнительных моделей Vosk на устройстве с двумя уровнями качества: Малый (~30–80 МБ) и Большой серверный (80 МБ–2 ГБ, минимальный уровень ошибок) для испанского, французского, немецкого, итальянского, португальского, голландского, русского, украинского, персидского, хинди, китайского, японского, арабского, вьетнамского и других языков

• Перевод на устройстве с помощью Google ML Kit, с LibreTranslate в качестве дополнительного серверного бэкенда для более широкого языкового охвата

• История расшифровки, доступная для поиска внутри приложения

• Настраиваемое наложение: размер текста, прозрачность, ширина, высота, запоминаемое положение на экране

• Автоматические уведомления об обновлениях через API релизов GitHub

КОНФИДЕНЦИАЛЬНОСТЬ ПРЕЖДЕ ВСЕГО

LiveCaptionN не создает учетную запись, не отслеживает вас и не использует аналитику. Распознавание речи и перевод работают на вашем телефоне. Приложение обращается к интернету только для загрузки моделей Vosk (с alphacephei.com) и пар переводов ML Kit (из сервиса моделей Google) по вашему запросу, а также для проверки GitHub на наличие новых сборок. Если вы включите в настройках дополнительный сервер Whisper или LibreTranslate, трафик будет направляться только на указанный вами URL-адрес.

ТРЕБОВАНИЯ

• Android 10 (API 29) или новее

• Разрешение на использование микрофона (для режима микрофона)

• Разрешение «Отображать поверх других приложений» (для плавающего окна субтитров)

• Разрешение на уведомления (для дополнительных оповещений об обновлениях)

LiveCaptionN — полностью открытый исходный код. Каждый релиз собирается с помощью GitHub Actions из общедоступного коммита, который вы можете проверить. Сообщения о проблемах, отзывы и запросы на добавление изменений приветствуются на GitHub.