OpenAI 和阿里巴巴推出新语音模型

OpenAI 和 Alibaba 几乎同时展示了新的语音处理模型。两家公司解决的任务不同。OpenAI 改善了语音到文本的转录，而 Alibaba 则在发展可以实时语音交流的系统。

OpenAI 的新语音识别模型

OpenAI 介绍了两种模型：GPT-Live-Transcribe 和 GPT-Transcribe。

GPT-Live-Transcribe 直接在对话中转录语音。声音在传入时处理，因此文本几乎会立即出现。该模型可以用于电话、在线会议、语音助手和其他对延迟要求较低的服务。

GPT-Transcribe 适用于已经存在的录音。例如，您可以传递采访、讲座、播客或电话交谈。该模型还适合于批量处理大量音频文件。

可以提前向模型解释上下文

在开始转录之前，用户可以告诉模型录音的主题。在描述中，可以指出人的名字、公司名称、专业术语、关键词和预期语言。

这在谈话中出现罕见姓氏、产品名称或行话时会很有用。如果没有提示，系统可能会将不熟悉的单词视为更常见的词并错误记录。

GPT-Live-Transcribe 还考虑了之前的发言。该模型不是将每句话单独处理，而是努力跟踪对话的进程。如果某人继续之前的思路，系统可以利用已转录的文本来理解下一句话。

OpenAI 测试显示了什么

在 OpenAI 的上下文感知 ASR 测试中，关于录音的附加信息明显影响了结果。

GPT-Live-Transcribe 的语义准确度从 38.5% 提高到 44.6%。而 GPT-Transcribe 的指标从 41.6% 提高到 45.2%。

在真实的音频录音中，新模型的错误率也比其前身低。GPT-Live-Transcribe 的错误率为 9.60%。相比之下，GPT-Realtime-Whisper 的错误率为 11.65%。

GPT-Transcribe 完成了相同的测试，其结果为 8.98%，而 Whisper-1 的错误率达到了 15.21%。

Artificial Analysis 还提供了另一个结果。在其测试中，GPT-Transcribe 的单词错误率为 3.31%。这明显优于 OpenAI 之前模型的指标。

使用 GPT-Transcribe 处理 1000 分钟的音频费用为 4.50 美元。

Alibaba 把重点放在实时对话上

Alibaba 介绍了 Qwen-Audio-3.0-Realtime Plus 和 Qwen-Audio-3.0-Realtime Flash。这些模型主要用于语音交流。人们与系统交谈，而系统用语音回复，用户无需不断切换到文本界面。

对话不必严格按顺序进行。用户可以在模型仍在回答时开始说话。系统应注意到新的发言，停止当前回答，并切换到人所说的内容。

对于语音助手来说，这是一个重要的功能。在常规系统中，用户常常不得不等待长时间的回答结束，或者如果助手没有注意到打断，需要重复问题。

Alibaba 的模型还能够调用外部功能。因此，语音助手不仅可以回答问题，还可以在连接的服务中执行操作。此外，还提到可以克隆用户的声音。

Qwen 在排名中位居第一

Qwen-Audio-3.0-Realtime Plus 在 Artificial Analysis Speech-to-Speech Index 排名中名列第一。该模型获得 84.1%。

OpenAI 的 GPT-Realtime-2.1 High 名列第二，成绩为 79.1%。

Alibaba 的解决方案在语音思维、对话和代理任务测试中也表现出了更好的结果。换句话说，该模型不仅能够处理普通对话，还能够处理需要理解情况并使用额外工具的场景。

主要缺点 — 回应延迟较长

尽管 Qwen-Audio-3.0-Realtime Plus 具有许多优势，但其显著缺点是模型并不会立即开始回答。

根据 Artificial Analysis 的数据，用户发言后约四秒钟才会出现第一个音频。在正常语音交流中，这样的延迟已经显得很明显。

而 GPT-Realtime-2 High 的延迟明显更少 — 约 1.14 秒。

公司目前正在发展不同的方向

OpenAI 目前专注于精确的语音转录。新模型适合处理采访、电话、讲座、会议和其他音频记录。

Alibaba 则更加关注交流本身。它的模型能够应对打断，调用外部功能，并进行语音对话。

然而，当前尚没有明确的赢家。在语音交流测试中，Alibaba 的解决方案表现得更强，但在响应开始的速度上明显不如 OpenAI。