昨夜凌晨一场直播,OpenAI亮出了新一代的语音模型GPT-Live,并透露它将开始催化ChatGPT Voice的升级。回想起ChatGPT Voice上次换代,还是在2024年5月GPT-4o发布时展示的Advanced Voice;同年7月,它就开始向部分Plus用户小范围开放。算到GPT-Live问世,这已经过去了两年光景。
今次,OpenAI把全双工架构带进了ChatGPT Voice。以往的AI语音助手,大多像一台效率挺高的对讲机:你要说完一句,模型再回应一句;模型讲着话时,你可以随时打断,不过系统常要重新判断、重新组织话语。
它已经接近对话,终究还不是自然,差那么点真聊天味儿。
GPT-Live要攻克的,正是这层细微的差别。
今天,这项功能将在ChatGPT上正式启封。但……反馈似乎不太尽如人意?
给ChatGPT Voice来点加餐
真正的聊天场合,除了辩论,人们很少是句句回应、井然有序地轮流说话。我们会停顿,会迟疑,会突然改口,也会对方说着话说句“等等,不是这意思”。有时候,一声“嗯嗯”“我懂”,比完整回答更有用;有时候,最好的回应反而是啥也不说,让对话继续流。
过去的AI语音助手,最头疼的就是这些细节。无论是ChatGPT、Gemini还是我们熟悉的豆包,它们在“聊天”时都很生硬,挺有人机味儿。它们能解答疑问,能读出字来,也能在被打断时暂停。但它们通常依赖一个前提:先判断你是否说完了,再决定要不要开口回答。判断一旦失误,对话就会显生硬。用户停顿一秒,它可能以为问题终结了,急着接话;用户说到一半改变了主意,它可能还在按原话往下说;背景有人说话,它还可能把非你的声音当成输入。
GPT-Live要改善的,就是这些不易包装成“大功能”,却会直接影响体验的小节。
要读懂如今的GPT-Live,先得看OpenAI早前的语音系统是怎么运作的。最早的ChatGPT Voice,采用的是级联语音系统。说白了,它不是用一个模型全程处理语音,而是多个模型接力施工:先把用户声音转成文字,再让大语言模型依据文字生成应答,最后再把文字转换成音效。这套方案方便搭建,也能快把大语言模型接入语音互动。但它的问题也很突出:语音里的丰富信息,会经由“语音转文字”的第一步就流失。模型在生成回答时,见到的往往只是段被整理过的文字,而非对话的完整现场。用户的语调、停顿、情绪变动,都不会传入语言模型。再加上多个模型串联,延迟也被逐层累加,语音助手就容易变成“听一句、想一下、再念一句”。
GPT-4o之后,OpenAI推出了Advanced Voice,开始用原生音频模型直接处理和生成声音。与级联系统比,这无疑是一次进步:模型不用先把全部语音改成文字再绕一圈生成语音;它能保留更多音频细节,延迟更低,用户能更顺畅地打断。但Advanced Voice仍未彻底告别回合制。OpenAI在介绍GPT-Live时,把以前的Advanced Voice定义为回合制语音模型。它比传统语音助手更自然,但还是先判断你是否说完了,再决定是否要回应。这个机制在文字聊天没毛病,用户点发送键就等于通知模型这轮结束了——但语音聊天没有那个按键,何时该应答,得由模型自己拿捏。







