拿一段菜市场录音去克隆外婆的声音,我翻车了

去年冬天,我干了件自认为挺浪漫的事。

外婆八十三了,讲的是我们那儿的老方言——县东头才有的腔,年轻人已经没几个会说。我想趁她还在,把声音留下来,做成一份有声家书,以后每年除夕放一遍。

于是我掏出手机,在厨房里录了半小时。灶上炖着排骨,抽油烟机嗡嗡响,窗外收废品的喇叭一遍遍喊「旧冰箱旧彩电」。

录完我就丢进了克隆工具。

出来的声音……怎么形容呢。像我外婆,但是感冒了、嘴里含着块糖、还站在隧道里说话的那种外婆。

第一版,废了。

别怪工具,先怪那段录音

我当时的反应很典型:换工具。网页版的、装客户端的、号称免费声音克隆的、要付费的,我几乎试了个遍。

结果出奇一致——每一版都带着那股「隧道味」。

这时候我才肯承认,问题不在模型,在我喂给它的那半小时垃圾。模型学的是「外婆的声音」,可那半小时里,外婆的声音只占三成,剩下七成是抽油烟机、汤锅咕嘟声、远处的狗叫,还有厨房瓷砖弹出来的混响。

你给它听什么,它就学什么。它老老实实把抽油烟机也当成了外婆的一部分。

复盘下来,我犯了三个错,一个比一个蠢

第一个错,在厨房录。 厨房是家里混响最重的地方之一,硬瓷砖、玻璃窗、金属锅,声音在里面来回弹。方言本来就靠声调细节撑,混响一糊,那些细微的调值全平了。后来我才知道,安静的小卧室,关窗、拉窗帘、床上铺条毯子,效果能甩厨房十条街。

第二个错,让外婆「念稿子」。 我打印了一段我写的家书,让她照着念。结果她念得又慢又僵,一个字一个字往外蹦,像小学生读课文。方言不是这么说的。她平时跟邻居聊天时那种连读、吞音、拖长的尾调,念稿时全没了。克隆出来的声音因此特别「标准」,标准得不像她。

第三个错,以为录得越久越好。 我录了半小时,觉得素材越多越保险。其实里面有效干净的部分不到十分钟,剩下全是噪音和停顿。而且手机就搁在灶台边,一会儿近一会儿远,音量忽大忽小——这种素材丢进去,模型只能学个大概轮廓。

重录那天,我做了这几件事

隔了一个礼拜,我把外婆请到我姐家那间朝北的小房间。这回我学乖了:

  • 手机固定在支架上,离嘴二十厘米左右,全程不动
  • 关窗、关空调、拉窗帘,手机开飞行模式
  • 不让她念稿,改成我提问、她聊天——「你小时候怎么过年的」「你娘当年怎么骂你的」
  • 一次录五到八分钟,录完立刻回听,有杂音就删了重来
  • 总共攒了大概二十分钟干净素材,分四次录完

录的时候我顺手用在线文字转语音把家书文本先试听了一遍——反正在线文字转语音免费,试错没成本。这一步挺关键的,方言里那些「哎」「哦哟」「你晓得伐」,是家书的魂,得让它们出现在对的位置。

正式合成的时候,我把二十分钟素材传上去,等了几分钟。这回出来的第一句,我姐在旁边直接愣住了。

那声「囡囡啊」,尾音是往下沉的,带一点点沙。就是她。

家书做出来之后

整份家书我拆成了二十六段,每段一两句话,从她小时候讲到她怎么把我带大。段数一多,我就特别需要无限制文字转语音,不然生成到一半被卡住会很难受。VoxClone 这边是免注册声音合成,打开就能用,不用装一堆所谓声音克隆软件免费版的东西,省事。免注册声音在线克隆这点对我姐尤其友好——她家电脑上什么都没装,点开网页就开始。

顺便说一句,别追求「完美音质」。我后来发现,保留一点呼吸声、一点口水音,反而更像真人语音合成免费出来的效果。太干净了,会像播音员,不像你外婆。

如果家里长辈口音特别重,素材再干净也难免有偏差。这时候别硬刚,挑几段她说话最放松的片段做重点训练,其他段落用普通话版本混着来,家里人听着也不违和。

要批量处理的话,其实可以走免费语音合成API,把文本丢进去自动出音频,几十段的家书一会儿就完事。当然,像我这种一年才做一次的,网页点点就够了。

常见问题

已经录了嘈杂的素材,还能救吗?

能救一点,但别抱太大希望。可以先用免费AI配音工具里的降噪功能过一遍,或者用剪辑软件把明显有杂音的部分剪掉,只留干净片段。如果干净片段少于三分钟,我建议重录——重录花两小时,修音可能花两星期,还不一定修得好。

方言克隆和普通话克隆,难度差在哪?

差在数据量。普通话的语料模型见得多了,方言见得少,尤其是小地方的土话。所以方言克隆对素材质量更敏感,你给它的每一秒都得是「纯的」。另外方言的声调系统复杂,有些调值在普通话里根本不存在,模型需要更多样本才抓得住。多录点日常对话,比念稿强一百倍。

免费的工具能做到什么程度?

看你要求。做家族有声家书、给视频配个方言旁白,完全够用——在线免费声音克隆现在的水准已经超出我预期了。想批量生成的话,免费TTS声音合成的接口也能接,几十段文本排队跑完不费劲。但你要做商业级的方言配音、需要极稳定的长文本输出,那就得考虑专业方案了。我自己用下来,永久免费声音克隆这条路子对普通人是够的,反正不花钱,试错成本低。更多教程我放在动态页了,有需要的可以翻翻。

别等

我外婆是前年秋天走的。

那份家书现在存在我手机里,也存了一份在云端。今年除夕我放出来的时候,我妈哭了,我小外甥女一脸茫然地问「这是谁在说话」。

她听不懂。但没关系,等她大一点,我会告诉她,这是太姥姥的声音,是她老家的话。

如果你家里也有这么一位老人,别等。找个安静的下午,关掉空调,把手机架好,问她一句「你小时候是怎么过年的」。剩下的,交给工具就行。