LiveCaptionN

LiveCaptionNは、Androidスマートフォンを、他のアプリの上にフローティング表示されるリアルタイム音声キャプションおよび翻訳ツールに変えます。マイクまたは現在再生中のアプリの音声を聞き取り、話している内容を単語ごとに文字起こしし、選択した言語に翻訳します。そして、その結果を、視聴中、スクロール中、または学習中のコンテンツの上にドラッグ可能なキャプションウィンドウとして表示します。

パイプラインの2つの部分は、デフォルトでデバイス上で完全に実行されます。

• Voskストリーミング音声認識 — 長時間稼働する認識エンジンに約100ミリ秒の音声チャンクが継続的に供給されるため、キャプションは2秒間隔で表示されるのではなく、瞬時に表示されます。

• Google ML Kitによるデバイス上翻訳 — 約59言語に対応。言語ペアごとに約30MBのデータを一度ダウンロードするだけで、オフラインで永続的にキャッシュされます。

アカウント不要。テレメトリデータなし。デフォルトのパイプラインではサーバーは不要です。

機能

• アプリの上に常に表示されるフローティングキャプションオーバーレイ。ドラッグで移動、ピンチでサイズ変更、一時停止、最小化、閉じる操作が可能。

• マイクまたはシステムオーディオ（MediaProjection経由）を低遅延パイプラインに供給。

• デバイス上でストリーミング再生されるVosk音声認識機能。Google Live Captionのような使い心地。

• デバイス上にVoskモデルを追加ダウンロードできる内蔵ダウンローダー。スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、オランダ語、ロシア語、ウクライナ語、ペルシャ語、ヒンディー語、中国語、日本語、アラビア語、ベトナム語など、2つの品質レベル（小：約30～80MB、大：80～2GB、エラー率が最も低い）を選択可能。

• Google ML Kitによるデバイス内翻訳。LibreTranslateをオプションのサーバーバックエンドとして利用することで、より幅広い言語に対応。

• アプリ内から検索可能なトランスクリプト履歴。

• オーバーレイの調整：テキストサイズ、透明度、幅、高さ、画面上の位置を記憶。

• 自動更新通知機能。 GitHubリリースAPI

プライバシー第一

LiveCaptionNはアカウントを作成せず、ユーザーを追跡せず、分析機能も一切使用しません。音声認識と翻訳はどちらもスマートフォン上で実行されます。アプリがインターネットにアクセスするのは、ユーザーが要求した場合にVoskモデル（alphacephei.comから）とML Kit翻訳ペア（Googleのモデルサービスから）をダウンロードするため、およびGitHubで新しいリリースビルドを確認するためのみです。設定でオプションのWhisperまたはLibreTranslateサーバーを有効にした場合、トラフィックは設定したURLにのみ送信され、それ以外のURLには送信されません。

必要条件

• Android 10（API 29）以降

• マイク権限（マイクモード用）

• 「他のアプリの上に表示」権限（フローティングキャプションウィンドウ用）

• 通知権限（オプションのアップデート通知用）

LiveCaptionNは完全なオープンソースです。すべてのリリースは、GitHub Actionsによって公開コミットからビルドされ、ユーザーはコミットを確認できます。GitHubで問題報告、フィードバック、プルリクエストを歓迎します。