Friskription博客直播翻译

直播翻译:所有方法对比

看一场你听不懂的直播,办法有四种。其中三种都要求直播方先给你点什么。下面讲每种办法做什么、在哪里到头,以及怎样用十秒钟看出自己被困在哪一种上。

简短的回答

  • 如果直播有字幕,用字幕翻译器或平台自带的自动翻译最省事——但它的上限就是它所读的那份字幕。
  • 如果没有字幕——几乎所有 Twitch 频道和大多数直播都没有——那就什么也翻译不了,因为根本没有可翻译的东西。必须先把音频转成文字。
  • Chrome 的 Live Caption 在你自己的机器上免费转写音频,但支持的源语言有限,而且只写进一个固定的小框里。
  • 转写式浮层——Friskription 就是一个——监听标签页的声音,把语音转成文字再翻译,因此完全不需要直播方提供任何东西。每周三十分钟免费。
  • 无论选哪种,都要预料字幕会比话音晚一到三秒。一句话得先被听见,实时翻译才能开始。

为什么直播比录播更难

录好的视频可以提前处理。有东西能把整个文件读一遍,算出句子在哪里结束,在任何人按下播放之前就把正确的字幕准备好。直播没有这些条件:你正在翻译的那句话还没说完,下一句已经开始了。

由此产生了一个在本页每种工具里都会碰到的取舍。等久一点再显示,读起来更顺但来得更晚;早一点显示,赶上了时间却是些当着你面被改写的碎片。没有哪个设置能逃开它,只有坐在这条曲线的不同位置。

第二个问题是,大多数直播根本没有任何文字。录播的 YouTube 视频通常有自动字幕,Twitch 频道几乎从来没有,因为那里的字幕只有在主播自己跑字幕软件时才存在,而大多数人不跑。仅这一条,就决定了下面四种方法里哪些对你是可用的。

四种方法

1. 字幕翻译器

这些是浏览器扩展和内置功能,拿现成的字幕轨去翻译。最广为人知的例子是 YouTube 自己的自动翻译:在字幕菜单里选一种语言,字幕就以那种语言出现。

它需要什么:一条字幕轨。整个故事就这么多。如果字幕菜单是空的,字幕翻译器就无米下锅,什么也不会显示——通常连报错都没有,只是一片安静。

它在哪里到头:质量是继承来的。自动字幕要是把一个名字听错了,翻译会忠实地把这个错误译出来。而且自动字幕能覆盖的语言比大多数人以为的少得多,所以 YouTube 不为其生成自动字幕的语言,哪怕在 YouTube 上也没有可翻译的轨道。

2. 主播提供的字幕

有些主播在自己那一端跑字幕——硬件字幕机、接进导播软件的语音转文字服务,大型活动上还有真人速记员。有这个的时候,通常是你能拿到的最准确的文字,因为它是由懂那套词汇的人配好的。

它需要什么:主播做过这件事,而且一直在做。你这边打不开它。

它在哪里到头:几乎总是只有所说语言的那一种。带日语字幕的日语直播,比没有字幕的好懂得多,但你不认日文照样看不懂——不过它确实给字幕翻译器提供了可用的素材。

3. Chrome 的 Live Caption

内置于 Chrome,免费,而且不需要直播方提供任何东西:它监听你机器上正在播放的声音并在本地转写。一切都留在设备上,这是本页最好的隐私故事,没有之一。

它需要什么:在 Chrome 的无障碍设置里把这个功能打开,以及一个它支持的源语言。

它在哪里到头:支持的源语言范围有限,字幕出现在一个固定的小面板里而不是视频上,翻译用的是通用机器翻译,而不是会读上下文的东西。它是一个恰好在这里派上用场的无障碍功能,不是翻译工具。这个差距我们在另一篇对比里量过。

4. 转写式浮层

思路和 Live Caption 一样——听标签页的声音,而不是去找文字——但走得更远:用生产级语音识别模型把语音转成文字,用会把每一行对照前面几行来读的语言模型去翻译,再把结果画在视频上,成为你可以移动、可以改样式的字幕。Friskription 做的就是这件事。

它需要什么:一个正在发声的标签页。不需要主播做什么,不需要平台做什么,也不需要字幕轨。

它在哪里到头:它跑在 Chrome 里,转写发生在服务器上而不是你的机器上,超出每周免费额度之后按分钟计费。它也管不了自己听不见的声音——你在电视上看的直播够不着。

该用哪一种

你在看什么 该用 为什么
字幕菜单里有字幕的 YouTube 视频 YouTube 自动翻译 免费、即时、本来就在那儿。先试它。
一场 Twitch 直播 转写式浮层 没有字幕轨可翻译,所以别的都谈不上。
YouTube 的直播或首播 转写式浮层 实时字幕时有时无,很多时候干脆没有。
英语直播,你只需要个大概 Chrome Live Caption 免费、设备本地,而且英语是它最强的语言。
已经存在你硬盘上的文件 正经给它做字幕 都不是直播了,可以慢慢来,还能留下一份 SRT。

快速判断的办法:打开直播,看一眼字幕菜单。里面有东西,就从字幕翻译器开始;空的——在 Twitch 上它就是空的——那么唯一存在的文字就是音频本身,只有会转写的东西帮得上忙。

无论用哪种,都会遇到的事

一到三秒的延迟

躲不掉:一句话得先被说出来,才能被听见;被听见,才能被转写;被转写,才能被翻译。工具之间的差别只在于怎么花这笔预算。Friskription 提供三档预设——快速、均衡、精确——在每行的完整度和到达的快慢之间取舍;还有一个同步模式,把播放往后压几秒,让字幕和话音一起到,而不是跟在后面。

名字会是薄弱环节

所有语音识别在专有名词上表现最差,因为名字恰恰是它上下文最少的那个词。主播 ID、角色名、圈内梗和游戏术语,就是你会注意到的地方。用一份术语表在这次会话里把写法钉死,是唯一真正的解法,对于常看的频道,值得配置一次。

噪声会吃掉准确度

公布的基准都是在干净录音上测的。直播里有游戏声、音乐、互相压着说话的人,还有一支放在卧室里的麦克风。每个引擎在这里的成绩都比自己的基准差。在拿两个各自在别处测出来的数字作比较之前,这一点值得知道。

把转写这条路搭起来

如果字幕菜单是空的,你走的就是这条路。大约花一分钟。

  1. 装上扩展并登录

    从 Chrome 应用商店把 Friskription 添加到浏览器,用 Google 账号登录。账号的作用是计量分钟数;开通时就有每周三十分钟的免费额度,每周一补满,不需要信用卡,也不需要任何 AI 服务商账号。

  2. 选择要翻译成哪种语言

    共有十五种:英语、日语、中文、韩语、西班牙语、法语、德语、葡萄牙语、俄语、阿拉伯语、印地语、意大利语、越南语、泰语、印尼语。所说语言会自动识别,所以通常没有别的要设置。

  3. 打开直播,按下开始

    几秒钟内字幕就会出现在视频上。把浮层拖到不挡画面的地方,调整大小,把字号定一次——每个网站的选择都会被记住。

要花多少钱

第一到第三种方法都免费。第四种按量计费,是因为转写和翻译跑在别人的服务器上,每分钟语音都要花真金白银。

只有说话才计费,所以回合之间的静默、等待画面,以及主播离开时的音乐,都不会从余额里扣。

问题

没有字幕的直播能翻译吗?

能,但只能靠转写音频的工具,而不是翻译文字的工具。在没有字幕轨的直播上,字幕翻译器无字可读,什么也不会显示。Chrome 的 Live Caption 和转写式浮层都从音频本身下手,所以都不需要直播方提供任何东西。

翻译 Twitch 直播最好的办法是什么?

转写式浮层,因为 Twitch 频道几乎从不带有可供翻译的字幕轨。Twitch 上的字幕只有在主播自己机器上跑字幕软件时才存在,而且平台压根没有观众侧的翻译功能。

延迟大概有多少?

正常使用下是一到三秒。一句话必须先被说出、听见、转写、翻译,然后才能显示。缩短等待的设置会产出更零碎、更常被改写的句子;拉长等待的设置会产出更完整但来得更晚的句子。

这里面有免费的吗?

字幕翻译器、平台自动翻译和 Chrome Live Caption 都免费。Friskription 每周免费提供三十分钟的实时翻译字幕,每周一补满,不要信用卡也不要 AI 账号;超出之后是 $1.99 起的一次性分钟包,从来不是订阅。

任何语言的直播都能用吗?

所说语言会自动识别,翻译目标可以是十五种中的任意一种:英语、日语、中文、韩语、西班牙语、法语、德语、葡萄牙语、俄语、阿拉伯语、印地语、意大利语、越南语、泰语、印尼语。

我的音频会被录下或保存吗?

不会。音频只在翻译运行时被处理,从不保存。如果你接了自己的 API 密钥,它会从你的浏览器直接送到那个服务商,完全不碰 Friskription 的服务器。

能在手机或电视上用吗?

用浏览器扩展不行,它需要桌面版 Chrome 和一个它听得见的标签页。如果声音是从电视或主机里出来的,任何浏览器工具都够不着。硬盘里的文件是另一回事——那个可以在浏览器里加字幕并把字幕留下来。

就从你刚才想看的那场直播开始

每周三十分钟免费。不用卡,也不用 AI 账号。

添加到 Chrome