Friskriptionブログライブ配信の翻訳

ライブ配信の翻訳: すべての方法を比較

わからない言語のライブ配信を見る方法は四つあります。うち三つは、配信側が先に何かを用意してくれていることが前提です。それぞれが何をして、どこで止まり、自分がどれに縛られているかを十秒ほどで見分ける方法をまとめます。

短い答え

  • 配信に字幕があるなら、字幕翻訳ツールかプラットフォーム自身の自動翻訳がいちばん手軽です。ただし読み込む字幕の質を超えることはできません。
  • 字幕がないなら — Twitchのチャンネルはほぼすべて、ほかの多くのライブ配信もそうです — 翻訳するものが存在しないので、何も翻訳できません。まず音声を文字にする必要があります。
  • ChromeのLive Captionは自分のパソコン上で無料に音声を文字起こししますが、対応する元言語は限られ、出力先は小さな固定の枠です。
  • 文字起こし型のオーバーレイFriskriptionもその一つです — はタブの音を聞き、話された言葉を文字起こしして翻訳するので、配信側からは何も必要としません。毎週30分が無料です。
  • どれを選んでも、字幕は話された言葉より1〜3秒ほど遅れて出ると考えてください。ライブ翻訳は、一行が聞こえてからでないと始められません。

ライブ配信が録画より難しい理由

録画された動画は前もって処理できます。ファイル全体を読んで文の切れ目を割り出し、誰かが再生を押す前に正しい字幕を用意しておけます。ライブ配信にはそれがありません。いま訳している文はまだ終わっておらず、次の文はもう始まっています。

ここから、このページのどのツールにもついて回るトレードオフが生まれます。表示までの待ちを長くすれば読みやすくなるが遅れて届く。早く出せば間に合うが、断片が目の前で書き換わる。これを逃れる設定はなく、あるのは曲線のどこに座るかという違いだけです。

二つ目の問題は、多くのライブ配信にそもそもテキストが一切ないことです。録画されたYouTube動画にはたいてい自動字幕があります。Twitchのチャンネルにはまずありません。あそこで字幕が存在するのは配信者自身が字幕ソフトを動かしている場合だけで、ほとんどの人は動かしていないからです。この一点が、下の四つの方法のうちどれが自分に使えるかを決めます。

四つの方法

1. 字幕翻訳ツール

既存の字幕トラックを受け取って翻訳する拡張機能や組み込み機能です。いちばん有名なのはYouTube自身の自動翻訳で、字幕メニューで言語を選ぶとその言語で字幕が出ます。

必要なもの: 字幕トラック。話はそれだけです。字幕メニューが空なら、字幕翻訳ツールには材料がなく、何も表示されません。エラーすら出ず、たいていはただ沈黙します。

限界: 品質はそのまま受け継がれます。自動字幕が名前を聞き間違えれば、翻訳はその間違いを忠実に訳します。しかも自動字幕が作られる言語は多くの人が思うよりずっと少なく、YouTubeが自動字幕を付けない言語の配信は、YouTube上でも翻訳する対象がありません。

2. 配信者が用意する字幕

配信側で字幕を回している人もいます。ハードウェアの字幕装置、配信ソフトに組み込んだ音声認識サービス、大きなイベントなら人間の速記者。これがある場合、たいていは手に入る中でもっとも正確なテキストです。用語を知っている人が設定しているからです。

必要なもの: 配信者がそれをやっていること、そしてやり続けていること。視聴者側から有効にすることはできません。

限界: ほぼ必ず話されている言語のままです。日本語字幕付きの日本語配信は、字幕なしよりはるかに親切ですが、日本語を読めない人には読めません。とはいえ、字幕翻訳ツールに材料を与えてはくれます。

3. ChromeのLive Caption

Chromeに組み込まれていて無料、しかも配信側からは何も要りません。パソコンで鳴っている音を聞き、その場で文字起こしします。すべて端末内で完結するので、このページで最も優れたプライバシーの話です。

必要なもの: Chromeのユーザー補助設定でこの機能をオンにすること、そして対応している元言語であること。

限界: 対応する元言語の範囲が限られ、字幕は動画の上ではなく小さな固定パネルに出て、翻訳は会話の文脈を読むものではなく汎用の機械翻訳です。ここで役に立つユーザー補助機能ではありますが、翻訳ツールではありません。その差は別の比較記事で詳しく測っています。

4. 文字起こし型のオーバーレイ

考え方はLive Captionと同じ — テキストを探すのではなくタブの音を聞く — をさらに進めたものです。実運用の音声認識モデルで話された言葉を文字にし、直前の行を踏まえて読む言語モデルで翻訳し、その結果を動画の上に、動かしたり見た目を変えたりできる字幕として描きます。Friskriptionがやっているのはこれです。

必要なもの: 音の鳴るタブ。配信者からも、プラットフォームからも、字幕トラックからも何も要りません。

限界: Chromeで動くこと、文字起こしが自分のパソコンではなくサーバーで行われること、無料の週次枠を超えると分単位の従量制になること。そして聞こえない音声には手が出せません。テレビで見ている配信は届きません。

どれを使うか

見ているもの 選ぶもの 理由
字幕メニューに字幕があるYouTube動画 YouTubeの自動翻訳 無料、即座、すでにそこにあります。まずこれを。
Twitchの配信 文字起こし型のオーバーレイ 翻訳すべき字幕トラックがないので、ほかは当てはまりません。
YouTubeのライブ配信やプレミア公開 文字起こし型のオーバーレイ ライブ字幕は安定せず、まったくないことも多いからです。
英語の配信でだいたいの内容がわかればよいとき ChromeのLive Caption 無料、端末内で完結、そして英語が最も得意な言語です。
すでに手元にあるファイル きちんと字幕を付ける ライブではないので、時間をかけてSRTを残せます。

手早く見分けるには、配信を開いて字幕メニューを覗いてください。中に何かあれば字幕翻訳ツールから。空なら — Twitchでは空です — 存在するテキストは音声だけで、文字起こしをするものしか助けになりません。

どれを使っても起きること

1〜3秒の遅れ

避けられません。一行はまず話され、聞き取られ、文字になり、それから訳されて初めて表示できます。その予算をどう使うかがツールごとの違いです。Friskriptionには三つのプリセット — Quick、Balanced、Precise — があり、一行の完成度と到着の早さを引き換えにします。さらにSyncモードでは再生を数秒遅らせ、字幕が言葉の後ではなく一緒に届くようにします。

弱点は名前

どの音声認識も固有名詞がいちばん苦手です。名前はまさに、文脈がいちばん乏しい単語だからです。配信者のハンドル名、キャラクター名、内輪ネタ、ゲーム用語で気づくはずです。セッション中の表記を固定する用語集が唯一の実効的な対策で、よく見るチャンネルなら一度作っておく価値があります。

雑音は精度を削る

公表されているベンチマークはきれいな録音で測られています。ライブ配信にはゲーム音、音楽、重なる話者、そして寝室のマイクがあります。どのエンジンもここではベンチマークより悪い数字になります。別々の場所で測られた二つの数字を比べる前に、知っておく価値のある話です。

文字起こしの経路を用意する

字幕メニューが空だったなら、あなたが進むのはこの経路です。一分ほどで終わります。

  1. 拡張機能を入れてサインインする

    Chromeウェブストアから Friskription を追加し、Googleでサインインします。アカウントは分数を管理するためのもので、毎週30分の無料枠付きで始まり、毎週月曜に補充されます。カードもAIプロバイダーのアカウントも要りません。

  2. 訳す先の言語を選ぶ

    15言語から選べます。英語、日本語、中国語、韓国語、スペイン語、フランス語、ドイツ語、ポルトガル語、ロシア語、アラビア語、ヒンディー語、イタリア語、ベトナム語、タイ語、インドネシア語。話されている言語は自動で判定されるので、ふつうはほかに設定するものはありません。

  3. 配信を開いて開始を押す

    数秒で動画の上に字幕が出ます。オーバーレイを映像の邪魔にならない場所へドラッグし、大きさを変え、文字サイズを一度決めてください。設定はサイトごとに記憶されます。

費用

一から三の方法は無料です。四つ目が従量制なのは、文字起こしと翻訳がどこかのサーバーで動いていて、話された一分ごとに実際のお金がかかるからです。

課金されるのは話されている部分だけなので、ラウンド間の無音、待機画面、配信者が離席中の音楽は残高から引かれません。

よくある質問

字幕のないライブ配信を翻訳できますか?

できますが、テキストを翻訳するものではなく音声を文字起こしするツールでなければ無理です。字幕トラックのない配信では、字幕翻訳ツールに読むものがなく、何も表示されません。ChromeのLive Captionと文字起こし型のオーバーレイはどちらも音声そのものから動くので、配信側に何かを求めません。

Twitchの配信を翻訳するいちばんよい方法は?

文字起こし型のオーバーレイです。Twitchのチャンネルには翻訳対象になる字幕トラックがまずないからです。Twitchで字幕が存在するのは配信者が自分のパソコンで字幕ソフトを回しているときだけで、視聴者側の翻訳機能はそもそもありません。

どのくらいの遅れを見込むべきですか?

通常の使い方で1〜3秒です。一行は話され、聞き取られ、文字になり、訳されてからでないと表示できません。待ちを短くする設定は途切れがちで書き換えの多い行になり、長くする設定はより完全な文が遅れて届きます。

無料のものはありますか?

字幕翻訳ツール、プラットフォームの自動翻訳、ChromeのLive Captionは無料です。Friskriptionは毎週30分のライブ翻訳字幕を無料で提供し、毎週月曜に補充され、カードもAIアカウントも要りません。それを超えると$1.99からの一回きりの分数パックで、サブスクリプションではありません。

どの言語の配信でも使えますか?

話されている言語は自動で判定され、翻訳先は15言語のいずれかです。英語、日本語、中国語、韓国語、スペイン語、フランス語、ドイツ語、ポルトガル語、ロシア語、アラビア語、ヒンディー語、イタリア語、ベトナム語、タイ語、インドネシア語。

音声は録音や保存をされますか?

いいえ。音声は翻訳が動いている間だけ処理され、保存されることはありません。自分のAPIキーをつないだ場合は、ブラウザから直接そのプロバイダーへ行き、Friskriptionのサーバーにはまったく触れません。

スマートフォンやテレビでもできますか?

Chrome拡張機能ではできません。デスクトップ版Chromeと、音を聞けるタブが必要です。音がテレビやゲーム機から出ているなら、どのブラウザ用ツールも届きません。手元のファイルは話が別で、ブラウザで字幕を付けて保存できます。

見ようとしていたその配信から始める

毎週30分が無料。カードもAIアカウントも不要です。

Chromeに追加する