Friskription → ブログ → Live Caption

Chrome Live Caption と翻訳字幕

比較

Live Captionは本当に優れたアクセシビリティ機能で、多くの人がそれを翻訳ツールとして使っています。どこでそれが通用しなくなるのかを正確に知っておく価値があります。境界線は見た目より鋭いからです。

手短に言うと

  • Live Captionを使う場面：音声が対応言語で、要点がつかめれば十分で、何もマシンの外に出したくないとき。無料、オンデバイス、しかもすでに入っています。
  • 翻訳オーバーレイを使う場面：話されている言語がLive Captionの対応範囲外のとき、名前や用語が一貫している必要があるとき、そして浮いたボックスではなく映像の上に字幕が欲しいとき。
  • 決定的な違いは文脈です。Live Captionは汎用の機械翻訳で、1行ずつ訳します。言語モデルの上に作られたオーバーレイは、各行を直前の行と読み合わせます。
  • もうひとつの決定的な違いはプライバシーで、こちらは逆向きです。Live Captionはすべてをローカルで処理し、どこにも何も送りません。
  • この2つは排他ではありません。Live Captionは無料なので、まず試すのに費用はかかりません。

Live Captionとは実のところ何か

Live Captionはアクセシビリティ機能です。Chromeが音声認識モデルをあなたのマシンにダウンロードし、以後ブラウザで再生される音声を小さな浮動キャプションボックスに文字起こしします。オフラインでも動き、音が出るものなら何にでも効き、サーバーには何も送られません。耳が聞こえない、あるいは聞こえにくい人が、自分の読める言語のコンテンツを観るには、優れていて無料です。

翻訳は後から付いたもので、キャプション機能に取り付けられた小さな機能です。以下に挙げることのほとんどはそこに起因します。人がつまずく部分は、外国語の配信を読むためではなくアクセシビリティのために設計された部分なのです。

2つはどこが違うのか

Chrome Live Caption 翻訳オーバーレイ
どこで動くか あなたのマシン上、オフライン 文字起こしと翻訳はサーバー上、または自分のAPIキー
対応する原語 限られた範囲 自動検出、はるかに広い範囲
翻訳 汎用の機械翻訳 各行を文脈の中で読む言語モデル
テキストの表示場所 固定された浮動ボックス 映像の上のオーバーレイ — 移動、サイズ変更、見た目の変更が可能
名前の一貫性 そのための仕組みがない 用語集がセッション中の綴りを固定
原文の併記 なし 各字幕の下に任意で2行目
話者ラベル なし 最大5つの声
テキストを残す 書き出しなし トランスクリプト書き出し、自分のファイルからSRT・VTT
費用 無料、無制限 毎週30分無料、以降は1.99ドルからの一度きりのパック

なぜ文脈が決め手になるのか

1行ずつの機械翻訳は、各キャプションを独立した文字列として扱います。文がまとまって届く書き言葉の段落ならそれで構いません。ライブの話し言葉はまとまって届きません。1つの文が2つのキャプションに割れ、2つ目の代名詞が1つ目の名詞を指し、主語を落とす言語 — 日本語や韓国語は絶えずそうします — では、肝心の情報がすでに流れ去ったキャプションの中にあります。

各行を直前の行と読み合わせる翻訳ならそれを解けます。同じ名前が5分のうちに3通りに音訳されるのも止まります。固有名詞だらけの配信で、1行ずつの翻訳が最も人を疲れさせる壊れ方がそれです。

これには測定できる入力もあります。文字起こしがその後すべての上限を決めるのです。聞き間違えられた単語を翻訳が取り戻すことはできません。Friskriptionは ElevenLabs Scribe v2 で文字起こしします。英語ベンチマークで単語誤り率3.3%を公表しており、Deepgram Nova-3 の5.3%、Whisper large-v3 の7.7%と並びます。どのエンジンもベンチマークのクリップよりノイズの多いライブ配信で成績を落としますが、順序は引き継がれます。

Live Captionが明確に勝つところ

プライバシーです、留保なしに。Live Captionはあなたのマシン上で動きます。音声はそこから出ず、サーバーは関与せず、ネットワークがなくても動きます。機密性のあるものに字幕をつけるなら、それは軽々しく手放す特性ではありませんし、本当にこちらのほうが良い選択です。

もう一方で最も近いのは、自分のOpenAI、Anthropic、ElevenLabsのAPIキーを接続することです。その場合、音声はブラウザからあなたがすでに契約しているプロバイダーへ直接送られ、Friskriptionのサーバーには届きません。これはオンデバイスとは意味のある形で異なる保証であり、ぼかさずはっきり書いておく価値があります。

Live Captionは無料で、計測もされません。毎週30分は本物の割り当てですが、無制限ではありません。Live Captionが対応する言語で何時間も気楽に聞き流すなら、そちらが理にかなった道具です。

どちらに手を伸ばすか

Live Captionが向くのは…

翻訳オーバーレイが向くのは…

よくある質問

Chrome Live Captionは配信の翻訳に十分ですか？

対応言語の配信で要点をつかむだけなら、多くの場合十分です。苦しくなるのはライブ翻訳が最も難しい部分 — 対応範囲外の原語、キャプションをまたいで割れた文、落とされた主語、一貫させる必要のある固有名詞 — です。翻訳が付け足されたアクセシビリティ機能であって、翻訳ツールではありません。

Live Captionは日本語や韓国語の配信で動きますか？

話されている言語がChromeのキャプション対応セットに入っている場合に限ります。そのセットは多くの人が思うより限られており、VTuber配信や韓国語配信のために別の手段を探す通常の理由がそれです。無料なので、気になる配信で試してみる費用はかかりません。

Live Captionは無料ですか？

完全に無料で、制限もアカウントも不要です。Chromeの一部であり、あなたのマシン上で動きます。

どちらがプライバシー面で優れていますか？

明確にLive Captionです — すべてをデバイス上で処理し、どこにも何も送りません。もう一方で最も近いのは自分のAPIキーを接続する方法で、音声はブラウザとあなたがすでに契約しているプロバイダーの間にとどまりますが、それは「マシンから出ない」と同じではありません。

両方使えますか？

使えます。無料で即座なので、まずLive Captionを試してください。言語が対応外のとき、名前が変わり続けるとき、あるいは隅のボックスではなく映像の上に字幕が欲しいときに翻訳オーバーレイへ手を伸ばしましょう。

Live Captionはなぜテキストを別のボックスに出すのですか？

ブラウザの音声すべて — 映像のない音声も含めて — に字幕をつける、システム全体のアクセシビリティ機能として作られたからです。映像の上に描くオーバーレイは、自分が動画プレイヤーを見ていると分かっているツールにしかできません。

どちらかは配信に字幕があることを必要としますか？

しません — それが両者の共通点であり、両方がTwitchで動く理由です。どちらも字幕トラックを読むのではなく音声そのものを文字起こしするので、プラットフォームにも配信者にも何も要求しません。

比較のもう半分を試してみる

毎週30分無料。カードもAIアカウントも不要です。

Chromeに追加

続けて読む