VoiceStudio是一款开源AI语音工作台,内置多TTS 语音合成引擎与ASR语音识别引擎,不同引擎之间支持一键自由切换,可根据场景灵活选择最优效果。零样本语音克隆只需3-15秒参考音频即可复刻音色,还原语气与发声特点,用户也可以直接通过描述年龄、口音、情绪生成全新人声。
VoiceStudio电脑版同时整合音频转录、字幕生成、多人声区分、翻译与配音全流程,一站式完成视频本地化制作,让专业语音工作变得专业且高效。
1、声音克隆
放一段短片——我们会镜像它。通常三秒钟就够了。
2、声音设计
从一句话中构建新的声音。性别、年龄、口音、音调、情感。
3、视频配音
转录、翻译、重新配音。保留每个扬声器并对齐时间。
4、故事
多声部有声书——选角,放入剧本。
5、有声书
把长篇剧本或EPUB改编成有章节的有声书。
6、配音画廊
浏览按口音、年龄和风格设计的现成声音。
7、文字记录
将音频或视频转换为可编辑、可搜索的文本。
1、打开VoiceStudio电脑版,进入【语音】界面;
2、在输入框中输入声音要说的文本;
3、选择一个预设或使用“描述你的声音”,写出可观察的特征,如 年龄范围、声带、速度、口音、能量和表达情境;
4、我们可以进一步细化声音设置;
5、最后选择【生成音频】即可;
6、以上就是VoiceStudio电脑版设计新声音的操作教程。
v0.5.6版本
一、亮点
1、使用保存的语音进行问候来接听 Twilio 电话;默认关闭,带有本地电话质量测试
2、Claude Code、Cursor、Codex CLI 和 OpenAI Agents SDK 已连接到 VoiceStudio 并正常工作
3、替换已保存克隆的参考样本,并从 OmniVoice 中克隆长度超过 20 秒的参考
4、长音频书章节在 8 GB GPU 上完成,并能承受断电或数据文件夹移动
5、马拉雅拉姆语数字、章节提示表和没有语音标记标签的字幕
二、已更改
Voice Clone 说出活动引擎使用了多长的参考时间,而不是要求你缩短到 15 秒
三、已添加
1、编辑已保存的语音克隆的参考样本:播放它,通过上传或录制替换它,并保存回同一语音
2、以保存的语音接听 Twilio 电话:默认关闭,签名 Webhook 和一次性流令牌,带有本地电话质量测试
3、马拉雅拉姆语配音和有声读物会用马拉雅拉姆语说出数字、百分比和小数,而不是读出原始数字
4、在故事或有声书渲染完成后,下载一个章节提示表(HH:MM:SSTitle)——时间戳与 M4B 的嵌入式章节相匹配,并提供MP3便携式章节
5、OpenAI Agents 集成页面提供了一个可复制的代码片段,该代码片段在 VoiceStudio上运行 Agents SDK 语音管道
6、OpenAI兼容的API添加了GET /v1/models和POST /v1/audio/translations(多语言Whisper模型;拒绝turbo模型)
7、语音请求接受 stream_format (audio 或 sse) 和 OpenAI's {"id": ...} 语音对象
8、转录通过language, prompt和temperature传递给 Whisper 引擎,并返回words带有timestamp_granularities[]=word
9、集成:可复制的 Codex CLI (config.toml)、任何 MCP 客户端(HTTP 或 stdio)、VoiceStudio API (curl 和 OpenAI SDK) 以及 Docker/GHCR
四、已修复
1、粘贴和导入的字幕不再识别卡拉OK标签,未更改的WebVTT和SubRip导出文件会保留原始字幕标记
2、保存了声音并上传了超过20秒的音频,在OmniVoice上重新克隆;最佳片段会自动挑选
3、VoxCPM2 不再将一个有上限的参考与整个片段的文本配对
4、说话人分割使用 Lightning 2.6.6,该版本阻止了来自恶意检查点的代码执行
5、在 8 GB GPU 上,长篇有声书章节在渲染时不再超时,并且超时章节会在当前分块后停止使用 GPU
6、在 Windows 上,重置连接不再让后端保持运行但无法访问
7、官方openai SDK 和 OpenAI Agents SDK 保持不变:gpt-4o-mini-tts并且当前 OpenAI 的语音名称不再因“未知模型”而失败
8、OpenAI instructions现在能够被语音引擎识别,而不是被忽略;OmniVoice 使用其中的语音设计标签
9、语音 pcm 为 24 kHz,正如 OpenAI 所指定的;aac并且 opus 返回真实的 AAC 和 Opus,而缺少编码器则是一个明显的错误,而不是一个标签错误的 WAV
10、转录报告会报告检测到的语言,而不是总是显示英语,并且verbose_json分段遵循 OpenAI 的模式
11、OpenAI兼容的路由返回OpenAI格式的错误,对于无效请求返回400
12、渲染的有声书章节在数据文件夹移动后仍可重用,并且关机不再清空恢复点或损坏章节音频
13、一个音频书章节缓存未命中现在会记录自缓存渲染以来哪些输入发生了变化
14、MCP 客户端指向 /mcp 在 Docker 上连接并从源构建,而不是获取 HTTP 405
15、MCP 工具和backend.speech_client 遵循一个后端,使用OMNIVOICE_PORT 而不是假设端口 3900
16、集成卡片显示真实能力:“支持 VoiceStudio”仅在存在设置时有效,其他地方均为“外部链接”
展开内容