【卡城华人网】今夜，语音模型第一次超越人类

>>返回【卡城华人网】主页

卡城新闻加国新闻即时新闻娱乐八卦最新科技读者文摘养生保健美食饮品居家生活音乐诗画艺术中心风筝专辑
房屋租赁求职招聘便民广告定居指南城市介绍房产动态留学移民华人故事教育话题财经信息精华旅游难得一笑

读者文摘

卡城华人网信息中心

读者文摘

今夜，语音模型第一次超越人类

今夜，语音模型第一次超越人类
【卡城华人网 www.calgarychina.ca】 2025-08-29 09:34

免责声明：本消息未经核实，不代表网站的立场、观点，如有侵权，请联系删除。

【卡城华人网】今夜，语音模型第一次超越人类

OpenAI凌晨发布最新生产级别语音模型和API。Realtime API实现语音直接处理，支持图像输入、远程MCP服务器与SIP打电话，极大简化语音智能体构建；而新一代语音到语音模型gpt-realtime，在音质、理解力、指令遵循和函数调用上全面提升，语音几乎媲美真人，还能多语种切换与细腻表达。

今天凌晨1点，OpenAI接连扔出AI语音能力的两个重磅更新。一个是Realtime API，可支持生产级的实时智能体。另一个是最先进的语音到语音模型gpt-realtime。Realtime API更新后不仅能连远程MCP服务器，识别图像输入，还能通过SIP协议直接打电话。

新模型gpt-realtime更是狠，复杂指令都能听懂，工具调用更精准，语音自然流畅，还能带点表现力。它能逐字念免责声明，能准确复述字母数字，还能在对话里无缝切换语言。最惊艳的，还是那声音效果，几乎和真人没区别，甚至比真人更惟妙惟肖。语音的夸张效果，你几乎听不出来「机器味」。

这不禁让人联想到OpenAl这两天很多人在社交媒体表示「feel the AGI....」不知道说的是不是这个最新的Realtime语音功能。在OpenAI提供的官方示例中，语音能力的加入，让整个画面立即就是充满了AGI的味道！

现在gpt-realtime能够处理复杂的多步骤请求，例如根据生活方式需求缩小房源列表，全程对话让AI完成操作。或者直接拨打电话安排医生预约。Realtime API第一次开放测试版是在去年10月，数千名开发者参与，边用边反馈。是所有这些开发者塑造了今天的改进。

高可靠性、低延迟、高品质，就是为了让语音智能体能够真正能落地。因为AI语音实现的传统链路很繁琐：语音转文本，文本再转语音，层层叠加。而Realtime API不一样，它只用一个模型，一个接口。直接处理，直接生成音频。延迟更低，细节保留得更好。声音，也更自然，更有表现力。全新的语音到语音模型gpt-realtime，在音质、智能、指令遵循和函数调用方面均实现了全面提升。可以说是OpenAI目前最先进的，并且也是已为生产环境准备就绪的语音模型。

音频质量

自然的对话是语音智能体在现实世界中落地的关键，就像电影《HER》中主角完全沉浸在斯嘉丽约翰逊的声音中。所以要求模型需要具备媲美人类的语调、情感和语速，才能创造愉悦的体验，并鼓励用户持续交流。OpenAI对gpt-realtime的训练专注于生成音质更佳、听感更自然的语音，并能遵循细粒度指令。例如「用快速、专业的语气说话」或「带上法国口音，用共情的语气表达」。此外，在API中推出了Marin和Cedar两款新语音，在语音的自然度上实现了重大突破。同时，对现有的八款语音也进行了升级，使其同样受益于这些改进。

智能与理解力

gpt-realtime展现出更高的智能水平，能够更精准地理解原始音频。模型可以捕捉笑声等非语言线索，在句子中途切换语言，并根据要求调整语气（例如，从「干脆利落的专业风格」切换到「亲切有同理心」）。内部评估显示，该模型在识别西班牙语、中文、日语、法语等语言中的字母数字序列（如电话号码、车辆识别码等）时，表现也更为准确。在衡量推理能力的Big Bench Audio评测中，gpt-realtime取得了 82.8% 的准确率，远超在2024年12月发布的上一版模型（65.6%）。

指令遵循

构建语音到语音应用时，开发者需要为模型提供一套行为指令，包括如何说话、在特定情境下说什么、以及行为边界。此次着重改进了模型对这些指令的遵循能力，使得最细微指示也能被模型有效捕捉。在衡量指令遵循准确度的MultiChallenge音频基准测试中，gpt-realtime的得分达到30.5%，相较于旧版模型（20.6%）有了显著提高。

函数调用

要利用语音到语音模型构建强大语音智能体，模型必须能够在恰当时机调用正确工具，才能在生产环境中真正发挥作用。gpt-realtime从三个维度改进了函数调用：调用相关函数、在合适时机调用，以及使用正确参数调用（从而提升准确率）。在衡量函数调用性能的ComplexFuncBench音频评测中，gpt-realtime得分为66.5%，而旧版模型得分仅49.7%。还对异步函数调用进行了改进。耗时较长的函数调用将不再阻塞会话流程——模型可以在等待结果的同时，保持流畅的对话。该功能已原生内置于gpt-realtime，开发者无需更新代码即可使用。

Realtime API的新功能-远程 MCP 服务器支持

您可以在实时API的会话配置中，通过传入远程MCP服务器的URL来启用MCP支持。连接后，API会自动处理相关的工具调用，无需手动进行集成。该设置让您可以轻松地为智能体扩展新能力：只需将会话指向一个不同的MCP服务器，相应的工具便会立即可用。
gpt-realtime现已支持图像输入。可以将图片、照片、屏幕截图等视觉信息与音频或文本一同加入实时API会话中。模型可以将对话内容与用户所见画面相结合，让用户可以提出「你看到了什么？」或「读一下这张截图里的文字」这类问题。

系统处理图像方式并非实时视频流，而更像是在对话中插入一张图片。应用程序可以决定在何时与模型分享哪些图像。通过这种方式，可以始终掌控模型看到的内容以及响应的时机。

其他功能

此次更新还增加了多项功能，使Realtime API更易于集成，在生产使用中也更具灵活性。会话发起协议 (SIP) 支持：通过实时API的原生支持，将应用连接到公共电话网络、PBX系统、桌面电话及其他 SIP端点。这有点像马斯克此前推出的Ani打电话功能。可重用提示词：可以像在Responses API中一样，保存并在不同的实时API会话中重用提示词——这些提示词可包含开发者消息、工具、变量以及用户/助手消息示例。

华人面孔+2

OpenAI的发布会必定会出现华人，这次发布会出现两张新面孔。Beichen Li目前是OpenAI的技术研究员。研究方向是计算机图形学与机器学习的交叉领域，重点关注利用多模态大语言模型（MLLM）进行视觉程序合成。此前，他在MIT CSAIL获得计算机科学博士学位，师从Wojciech Matusik教授；在MIT获得电气工程与计算机科学硕士学位；在清华大学获得计算机科学与技术学士学位。Liyu Che目前是OpenAI的技术研究员。此前，他在南加州大学获得博士学位，师从Haipeng Luo教授；在香港科技大学获得学士学位，毕业论文由Dit-Yan Yeung教授指导。

编辑(Edit) 删除(Delete)

>>返回【卡城华人网】主页