Sesame AI语音：最接近人类的AI语音技术？

理解Sesame AI语音技术

AI领域不断发展，语音合成是最令人兴奋的进展之一。Sesame AI语音以其声称的最接近人类的AI语音引起了广泛关注。本文将探讨Sesame背后的技术，将其与传统文本转语音（TTS）模型进行比较，并讨论其对各个行业的潜在影响。

关键点

• Sesame AI语音被誉为目前最接近人类的AI语音。
• 它使用了一种对话语音模型（CSM），该模型结合了文本和音频作为输入，与传统TTS不同。
• CSM模型考虑了对话历史，使语音听起来更自然。
• 其发音可以动态调整。
• Sesame旨在赋能自然且富有表现力的AI伴侣。
• 初步测试显示，单独听到短语时，人类参考略优于该模型。但在上下文环境中听到时，偏好差异显著。

什么是Sesame AI语音？

Sesame AI语音是由一支专注于创造更自然和引人入胜的AI驱动对话的研究团队开发的突破性技术。其核心创新在于开发了一种称为对话语音模型（CSM）的技术，使其与传统TTS系统区别开来。该模型旨在复制人类语音的细微差别，包括语调、情感和上下文理解，从而生成非常接近人类的AI语音。Sesame的创新可能彻底改变我们日常生活中与AI的互动方式。这些模型的目标是实现“语音存在”——使语音互动感觉真实、被理解和重视的神奇品质。这是通过创建不仅能处理请求，还能进行真正对话的对话伙伴来实现的，这些对话随着时间的推移建立信心和信任。通过这样做，有助于实现语音作为指令和理解的终极界面的未开发潜力。作为人类，我们天生有能力判断某人是否真正理解我们。这不仅在于我们使用的词语，还在于语音的微妙之处：兴奋的上升、深思的停顿、温暖的安慰。最终，语音是我们作为人类最亲密的媒介，通过无数音调、音高、节奏和情感的变化传递多层次的意义。

Sesame的对话语音模型（CSM）与传统TTS模型的比较

Sesame的CSM与传统TTS模型的关键区别在于它们处理信息的方式。TTS模型通常仅依赖文本输入生成语音，往往导致声音听起来机械或不自然。而Sesame的CSM则同时考虑了文本和音频输入。这种双重方法使AI能够分析对话的上下文，包括情感线索和之前的交流，从而生成更具表现力和相关性的语音。它提供了历史和上下文，使响应更加丰富和自然。如果没有这些，语音的单调和缺乏情感会使其显得机械而非有帮助。通过利用对话历史，模型可以生成更自然和连贯的语音。传统的文本转语音（TTS）模型直接从文本生成语音，但缺乏自然对话所需的上下文意识。尽管最近的模型生成了高度接近人类的语音，但它们仍然面临一对多的问题：有无数种有效的方式来说一句话，但只有一些适合特定的场景。如果没有额外的上下文——包括语调、节奏和对话历史——模型缺乏选择最佳选项的信息。捕捉这些细微差别需要在语言和韵律的多个方面进行推理。下表突出了核心差异：

Sesame AI语音背后的团队

Sesame AI语音由一支在AI、语音技术和虚拟现实领域拥有丰富经验的专家团队支持。了解这些远见卓识者可以更好地理解项目的方向。两位关键人物是：Brendan Iribe：Sesame AI语音的联合创始人，Oculus的前CEO，在虚拟现实和人机交互领域拥有丰富的经验。Brendan为项目带来了硬件经验，是项目的关键推动者。Ankit Kumar：Discord的Clyde AI首席工程师和联合创始人。Discord的AI集成是软件领域的一大进步，Ankit为语音集成带来了宝贵的技术专长。他们的综合专业知识使Sesame AI语音在快速发展的AI语音技术领域继续创新和取得成功。

体验Sesame AI语音

Sesame AI语音在其网站上提供了一个在线演示，允许用户亲身体验该技术。该演示展示了CSM模型的能力，并突出了其生成自然且上下文相关语音的能力。要尝试演示：访问Sesame AI语音网站（链接在描述中）。导航到“演示”部分。按照屏幕上的说明与AI语音互动。尝试不同的提示和场景，探索其全部功能。

定价和可用性

定价信息尚未公开。这很可能取决于使用的特定推理提供商以及运行音频和文本处理所需的资源。然而，由于音频和上下文通信的需求，您可以预期价格会略高于TTS系统。

Sesame AI语音的优缺点

优点

• 高度逼真且富有表现力的AI语音。
• 结合对话历史，使互动更自然。
• 在各行业广泛应用的潜力。

缺点

• 语言支持有限（目前仅限英语）。
• 未知的定价结构。
• 依赖推理提供商进行访问和集成。

实现语音存在的关键组件

• 情感智能：读取和响应情感上下文。
• 对话动态：自然的时机、停顿、打断和强调。
• 上下文意识：调整语气和风格以适应情境。
• 一致的个性：保持连贯、可靠和适当的存在。

解锁AI语音的价值

语音AI正在从房地产到医疗保健再到物流的各个行业中实施。用例包括所有来自呼入或呼出电话的自动化。

关于Sesame AI语音的常见问题

Sesame AI语音与其他AI语音有何不同？

Sesame AI语音使用了一种对话语音模型（CSM），该模型结合了文本和音频输入，考虑了对话历史，并能动态调整发音，从而生成更自然和富有表现力的语音。

Sesame AI语音支持多种语言吗？

目前，Sesame AI语音主要基于英语数据进行训练。然而，团队计划在未来增加对约20种语言的支持。

Sesame AI语音会开源吗？

是的，团队计划开源基础模型，允许开发者构建和试验该技术。

相关问题

上下文语音生成在AI语音模型中是否越来越普遍？

是的，最近的文本转语音模型考虑了更多信息，使AI语音听起来更自然。为了解决这个问题，Sesame引入了对话语音模型（CSM），该模型将问题框架为使用变压器的端到端多模态学习任务。它利用对话历史生成更自然和连贯的语音。传统的文本转语音（TTS）模型直接从文本生成语音，但缺乏自然对话所需的上下文意识。