栏目分类
九游会j9·游戏「中国」官方网站
供应
求购
公司
产品
展会
新闻
人才
会员商务室
九游会j9·游戏「中国」官方网站相较于现存的 TTS 大模子-九游会j9·游戏「中国」官方网站
发布日期:2024-10-26 06:20    点击次数:112

文 | 刘士武(36 氪游戏)

10 月 24 日,趣丸科技书记与香港中语大学(深圳)联结研发的语音大模子「MaskGCT」厚爱在 Amphion 系统中开源,面向公共用户洞开使用。鉴别于传统 TTS 模子,MaskGCT 经受掩码生成模子与语音表征解耦编码技能,在声息克隆、跨语种合成、语音戒指等任务步履中大致快速落地。

测试收尾(开端:MaskGCT)

据了解,相较于现存的 TTS 大模子,MaskGCT 在语音的通常度、质地和相识性上进一步卤莽,在三个 TTS 基准数据集上都达到了 SOTA 后果。其权贵特色如下:

秒级超传神的声息克隆:提供 3 秒音频样本即可复刻东说念主类、动漫、"耳边细语"等放浪音色,且能好意思满复刻语调、作风和心扉。

更概括可控的语音生成:可天真养息生谚语音的长度、语速和热诚,撑抓通过剪辑文本剪辑语音,并保抓韵律、音色等方面的高度一致。

高质地多语种语音数据集:熟悉于香港中语大学(深圳)和趣丸科技等机构联结推出的 10 万小时数据集 Emilia,是公共最大且最为各样的高质地多语种语音数据集之一,达成中英日韩法德 6 种言语的跨语种合成。 

MaskGCT 的研发使命由港中大(深圳)、趣丸科技东说念主工智能联雄厚践室成员完成。算作一个大范围的零样本 TTS 模子,MaskGCT 经受非自归来掩码生成 Transformer,无需文本与语音的对都监督和音素级抓续时刻瞻望,其技能卤莽性在于经受掩码生成模子与语音表征解耦编码的改革范式。

MaskGCT 大模子翻译《黑据说:悟空》动画片断(视频开端:趣丸千音)

凭据官方实践标明,MaskGCT 在语音质地、通常度和可连气儿性方面优于现时绝大部分的 TTS 模子,况兼在模子范围和熟统统据量增多时施展更佳,同期大致戒指生谚语音的总时长。

MaskGCT 已在香港中语大学(深圳)与上海东说念主工智能实践室联结开辟的开源系统 Amphion 发布

值得一提的是,MaskGCT 是一个两阶段模子。在第一阶段,模子使用文本瞻望从语音自监督学习(SSL)模子中索取的语义瑰丽;在第二阶段,模子基于这些语义瑰丽瞻望声学瑰丽(奉命掩码瞻望学习范式)。

在熟悉经过中,MaskGCT 学习凭据给定的条款和辅导瞻望掩码的语义或声学瑰丽。在推理经过中,模子以并职业貌生成指定长度的瑰丽。通过对 10 万小时的当然语音进行实践,收尾标明 MaskGCT 在质地、通常度和可连气儿性方面优于其他现存的零样本 TTS 系统。

现在,MaskGCT 在短剧出海、数字东说念主、智能助手、有声读物、赞助造就等领域领有丰富的利用场景。为了加速落地利用,在安全合规的前提下,趣丸科技开辟了多语种速译智能视听平台"趣丸千音",可达成一键上传视频即可快速翻译成多语种版块,并包含字幕树立与翻译、语音翻译、唇音同步等功能,大幅缩短过往崇高的东说念主工翻译资本和冗长的制作周期,成为影视、游戏、短剧等骨子出海的新遴荐。

视频开端:趣丸千音

《2024 年短剧出海白皮书》显现,2023 年国外市集范围高达 650 亿好意思元,约为国内市集的 12 倍,短剧出海正成为蓝海新赛说念。基于 MaskGCT 的趣丸千音九游会j9·游戏「中国」官方网站,有契机匡助国产短剧以更低资本、更快捷的形貌"走出去",进步中国文化骨子的出海效能。



Powered by 九游会j9·游戏「中国」官方网站 @2013-2022 RSS地图 HTML地图