沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

温暖 5年前 (2019-01-11)

以语音第一股的科大讯飞为主线,描述了在这三个时代中它得到了怎样的机会和面临的挑战。

文章来源:左林右狸Left-Right-007作者:J金红

写在前面:

这是《沸腾新十年》的第十一篇剧透文,也是2019年的第一篇剧透文,从确认选题到采编到反复修改,这篇稿子操作时间前后历经近半年。究其原因,主要是这个江湖历史更久远,中国科技日新月异,这也是左林右狸将这次写科技史的时间拉在近10年内的原因,语音的产业化历经了20年的沉淀,在这20年中有太多的风流人物和精彩故事我们想要讲述,这样的野心以至于让文章的框架拉得越来越大。

从2018年8月份开始,左林右狸拜访和研究了近百家语音企业和学术机构,我们发现语音在产业化时历经了三个时代,PC时代、移动互联网时代和AIoT时代,在每个时代语音都出现过高潮,也出现了新的机会和新一批的创业者。最终我们还是以产业化最久也是语音第一股的科大讯飞为主线,描述了在这三个时代中它得到了怎样的机会和面临的挑战。

本文作者金红是沸腾新十年里新智造和AI+多个赛道的主笔,也是《无人机江湖和汪滔的前半生》一文作者。金红也在操刀《大国智造》一书,欢迎各界人士和她聊天。

巢湖半汤温泉,中国四大名泉之一,位于安徽巢湖市东北部的汤山脚下,因一热一冷两大温泉汇聚而成冷热各半的自然景观而得名为半汤。

2000年的秋冬之际,CEO刘庆峰带着科大讯飞最开始的近20名干将从科大讯飞所在城市合肥驱车一小时抵达半汤,召开为期两天的年度会议,这被称为科大讯飞公司历史上著名的半汤会议。

半汤会议持续了两天,因为公司财务情况已经见衰,有人提出把公司解散了,有人说用科大的招牌和政府的支持炒房地产赚钱,十几个人各抒己见,各方意见始终未能统一,最后刘庆峰直接拍板:继续做语音,谁不乐意,直接走人。

这不是刘庆峰关于科大讯飞做出的第一个重要决定,之前的1999年6月,他也在众多选择中选择了坚持向前走的决定。

时间回溯到1999年6月,对于刘庆峰来说,当时摆在他面前的有三个选择:一是走学术路线出国读博,已经有学校愿意提供几万美元的奖学金;二是接受刚刚组建微软亚洲研究院的李开复提供的微软奖学金,到微软实习一个月,作为日后投身产业界、进入微软这样的大公司的跳板;三是带领实验室的师兄弟们,一起做一番事业。

在这三条路中,刘庆峰选择的是看起来难度最大的一条,他放弃了出国读博的打算,婉拒了李开复的邀请,提出了一边攻读博士、一边创业的想法,在得到导师的首肯之后,刘庆峰以实验室为班底,成立了安徽硅谷天音信息科技有限公司,半年后,公司改名为科大讯飞。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

科大讯飞早期创业团队

回顾这一足以改写今日中国语音产业江湖市场格局的选择,我们便会发现刘庆峰在当时做出的决定并非偶然。当时刘庆峰担任福建中银集团与中科大建立的联合实验室、中文语音合成第一个产业化的实体中银天鹰智能多媒体实验室的总工程师,和师兄弟一起开始为中银集团提供技术支持。在摸着石头过河,将语音合成产业化的过程中,刘庆峰发现做产品与做技术有很大不同,做产品是需要迎合市场需求,但当时市场上并不确定需要语音做什么。中银集团有很多想法,今天想搞个语音PDA,明天又想做个语音听写软件,后天又搞工商查询系统,搞得团队疲惫不堪。兄弟们受不了,便找到刘庆峰说,要么你出来当CEO,要么我们就解散。

刘庆峰的博士生导师也对他说,这个事情可以成,这么多优秀的年轻人能团结在一起,在科大的历史上还从来没有过,要是解散就太可惜了。

刘庆峰的导师王仁华是国内语音合成领域研究的泰斗,在当时的语音界有南北“二王”之称,其中南王指的就是中科大王仁华,王仁华最开始也担任科大讯飞的董事长,但并非大股东,他的股份远比刘庆峰少,甚至一半都没有,这在当时蛮匪夷所思的,今天也不少人难以理解,但正是王仁华的高风亮节成就了科大讯飞今天的辉煌,王仁华与刘庆峰模式也成为中国高校企业科技创新的重要模式创新,之后李泽湘与汪滔、王田苗与高禄峰都遵循这个模式。

王仁华从1967年开始任教于中国科学技术大学电子工程与信息科学系,长期从事人机语音通信,数字信号处理,多媒体通信方面的科研和教学工作,其研究的LPC语音合成技术在1985年获中国科学院科技进步三等奖,在语音合成方向多次获国家科技奖。科大讯飞的前十年,其业务也是基于语音合成技术。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

王仁华(中)和科大讯飞团队

语音合成,又称文语转换(TTS,Text to Speech)技术,是用人工的方式模拟人声,从而将任意文字信息转化为语音。1939年,贝尔实验室H· 杜德利(H . Dudley)利用共振峰原理制作的语音合成器是历史上第一台电子合成器;1960年,瑞典语言学家G.Fant提出用线性预测编码(LPC)作为语音合成分析技术,推动了语音合成的发展;1980年,D·克拉特(D. Klatt)设计出串/并联混合型共振峰合成器,已经可以模拟不同的嗓音;20世纪90年代,随着计算和存储能力大幅度提升,基于大语料库的单元挑选与波形拼接合成方法出现,可以合成出高质量的自然人语音。王仁华正是这个时间开始深耕语音合成领域。

1993年,在中科大召开的全国语音识别与合成研讨会上,王仁华教授提出了试用播音员录音的基因片段加处理的方法获得了当时863专家组负责智能接口的专家高文的首肯,并拨给20万元进行研究,在此之后,王仁华教授的课题获得了863计划的滚动支持。

多说一句,王仁华教授在1993年访问美国麻省理工学院(MIT)时,当时在MIT任职的也是中科大校友的邓力招待过他的访问并交流了不少语音技术问题。而高文也在1992年在MIT计算机系做过访问学者,这个世界不大。

而1992年考入中科大的刘庆峰因为成绩优异,在大一就被王仁华看中吸收入人机语音通信实验室参与了相关863项目,1995年也就是刘庆峰大三那年起担任语音合成项目的负责人。1995年和1997年,中科大在863专家组主持的文语转换系统评测和中期检查中获得多项第一,刘庆峰均参与其中;1998年,刘庆峰带队参加了在北京的863语音合成评测,这一次中科大在评测中获得了3分(5分是播音员水准,4分是普通人发音表现,而3分则是勉强可以接受的),这是当时语音合成获得最高的分数,“唯一达到了可实用阶段”。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

随后在1998年8月的“国家火炬计划十周年成就暨高新技术产品博览会”中,中科大的语音合成系统被选为唯一的软件标志性产品而列在特展位上;1998年12月,在新加坡举行的国际汉语口语处理研讨会(ISCSL)上,中科大的KD语音合成系统被与会各国专家高度评价,刘庆峰介绍KD系统的论文也获得了大会的最佳学生论文奖(有意思的是,邓力当时是ISCSL的创始人之一,他向刘庆峰发了最佳学生论文奖)。不难想象,1999年的刘庆峰正是春风得意时,这时候的他更希望做的是能改变世界的大事。

一方面是国外的博士和微软奖学金,另一方面是7年顺风顺水的研究和导师的勉励、师兄弟们的期盼,选择创业也就顺理成章了。就这样,中科大、安徽省经贸委出资,刘庆峰也出了十万元,再和17个兄弟们一人凑了点钱,以300万元将原来卖给中银集团的技术买回,成立了科大讯飞的前身硅谷天音。虽然此前实验室已经拿到了不少的荣誉,但毕竟没有市场化的产品,因此初创之时的硅谷天音仍然将主要精力放在语音合成引擎的开发上,有了这款引擎,才好去谈投资和商务合作。

在研发过程中,科大讯飞遭遇了第一次资金短缺问题,每个月花的钱比挣的钱多,账面上的资金越来越少。刘庆峰的压力很大,刘庆峰他开始找投资方,但并不顺利。

此时,另一家语音企业金耳麦被当时与Nuance齐名的Infotalk(以语音识别和语音搜索技术见长,2005年被卖给了新加坡的Creative公司)高价收购。金耳麦由沈康麒于1999年创立,由于研发出中文语音识别算法,在成立8个月即被Infotalk收购,沈康麒本人也进入新公司担任高管。沈康麒兜兜转转一圈后重新回到语音产业江湖,他现在是车载语音服务平台公司车音网的CEO。语音识别当时在中国还比较少应用在产业中,而科大讯飞当时也只是有语音合成技术,语音识别技术是从国外语音技术提供商Nuance采购的。看到金耳麦被收购,刘庆峰几次北上北京与沈康麒商议Infotalk收购科大讯飞的可能性。沈康麒非常看好两家公司的互补性,遂向公司建议收购科大讯飞。可惜的是,Infotalk最后并没有选择科大讯飞,而是收购了另外一家境外公司。

被Infotalk放弃后,刘庆峰不气馁的继续寻求融资机会。好不容易有人有投资意向,不过他们却都不希望科大讯飞继续待在偏远的合肥,而应该去北京或上海。

合肥市时任市长车俊听到这一消息,吓了一跳。虽然合肥有中科大,但当时正是中国通信行业发展高峰期,培养的人才被华为、中兴都包揽去了,留在合肥的少得可怜。如果科大讯飞这时候再转移阵地,那就真的留不住人了。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

要想把科大讯飞留在合肥,只有解决了他们的资金问题。于是在1999年底,车俊将合肥美菱股份有限公司、合肥永信信息产业有限公司以及安徽省信托投资公司的负责人带到科大讯飞的办公室,为其展示了语音合成技术。会后,三家企业分别出资1000万投资科大讯飞,各占17%。科大讯飞的资金危机暂时解除了,也如车俊所愿留在了合肥,自此也开启了科大讯飞与合肥政府之间20年紧密的联系。

3000万资金到位后,刘庆峰和兄弟们准备大干一场。当时电脑刚开始进入许多中国家庭,很多用户根本不会操作,科大讯飞看准了这个“痛点”,推出了第一款产品“畅言2000”。这是一款基于IBM研发的语音识别系统ViaVoice研发的中文语音系统,用上了科大讯飞多年来语音合成领域的技术积累,定价一千多元,功能上相当于电脑上的Siri,借助语音方便电脑操作,还打出了“会说话就会用电脑”的广告。刘庆峰将销售渠道铺到了全国10多个省,他们甚至预想了产品热销的丰满梦想,但由于语音输入和控制并非硬需求,大多数人还是更习惯于使用键盘和鼠标,加之价格太高,畅言2000几乎无人问津,科大讯飞也由此亏掉两千多万。

由于畅言2000的失利,科大讯飞再次陷入了资金缺失的困境,也让团队开始怀疑语音产业的未来。痛定思痛,刘庆峰把队伍拉到了巢湖半汤温泉,希望在这样一个放松的环境下,想清楚自己能够做什么。

今天复盘,刘庆峰当时之所以如此坚持,是他知道还未到穷途末路的时候,虽然ToC市场出师不利,但在ToB市场,基于语音合成技术,公司还有数十家企业的订单,他觉得重整山河发力ToB市场,胜负依然为未可知。

1999年10月在中国国际高新技术成果交易会上,华为的一名员工对科大讯飞的语音合成技术很感兴趣,并邀请其团队到华为在蛇口的办公室做深入交谈。科大讯飞总工程师陈涛带领团队在华为住了一个多月,最终通过了华为的测试。

2000年初华为与科大讯飞签订了供货商协议,购买语音合成技术。此时,中国电信的168电话信息平台开始铺向全国,涉及到大量的客服工作,语音合成技术有望能解决这个问题,继华为之后,在当年年底中兴、鑫泰、神州数码等50多家企业都与科大讯飞签订了合同。

当然,客服语音技术还是很复杂的,不是把语音转化成文本就可以了。当时,科大讯飞做的只是语音转接,即直接对着电话说找某个人,通过识别出人名而在事先获取的通讯录信息中进行搜索匹配从而将电话转接到该人的电话线。这涉及到信息数据问题。因为早期数据还比较少,因此客服语音技术也只是在少范围内使用。

在半汤会议明确了发展方向后,刘庆峰编写了一份“未来发展规划”,继续寻找投资,他们很快遇到了联想创投。

这份规划书在联想创投眼中“还有些稚嫩”,但在柳传志和刘庆峰谈了两个多小时后,柳传志就确定了“这家公司一定要投”,并将联想创投将第一个投资名额给了科大讯飞。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

联想之后,复星集团和英特尔也选择投资了科大讯飞。不同的是,联想的300万美元是以增资的方式真金白银的给到了科大讯飞,而复星集团和英特尔则是从安徽信托、美菱集团、合肥永信三家第一轮投资人手中买的老股。

虽然拿到了投资,但科大讯飞的经营状况并没有马上改善。直到2004年联想创投的一次投资项目总结会上,科大讯飞还被当作不赚钱的反面教材。

转机出现在2004年。科大讯飞的诞生是基于863计划支持下的项目技术产业化,从一开始就得到了政府的资助与支持,科大讯飞也一直是安徽省政府和科技部等部委眼中的好学生:2000年6月,科大讯飞被科技部认定为国家863计划成果产业化基地,2002年,以中科大为第一完成单位的“KD系列汉语文语转换系统”被评为国家科技进步二等奖,是政府和相关部门眼中的“好学生”,而在最后,仍然是政府拯救了它。

2004年,时任教育部副部长的袁贵仁到科大讯飞视察,提出将讯飞的语音识别技术应用于普通话考试,这对当时的科大讯飞可谓量身定做,天下掉馅饼样的好事。自此,讯飞以普通话测评切入智能教育。在这一年,科大讯飞终于扭亏为盈。

接下来的一年科大讯飞继续被幸运眷顾。2005年彩铃从韩国引进中国,受到消费者的热烈追捧。但令运营商困扰的是,电话只能通过按键选择1至9之间的9首彩铃。语音成为解决这个问题的最优选择之一。

不过,要做这个事情,得有比较成熟的语音识别技术,这个在当时并非科大讯飞的专长,语音识别当时国内的正规军和排头兵是中科信利。

有意思的是,在投资科大讯飞之前,联想还对比考察了中科信利。中科信利的强项在语音分类与检索技术和语音识别,是曾任英特尔中国研究中心主任、首席研究员的颜永红他麾下的英特尔中国研究中心语音部的几名研究员回到中科院声学所时在组建中科信利语音实验室的同时成立的企业,方便对实验室的研究成果进行商业运作。应该说中科信利与科大讯飞各有特色,在二选一中,柳传志因为刘庆峰描绘的场景而投资了科大讯飞,而中科信利也很快成为当时科大讯飞最大的竞争对手。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

左林右狸团队拜访中科信利联合创始人赵庆卫

几乎在科大讯飞承接安徽联通彩铃业务的同时,中科信利也承接了中国移动的IVR(互动式语音应答)业务,并在2005-2007年成为中国移动的IVR业务合作伙伴。

于公于私,中科信利很难把语音识别技术给对手科大讯飞。

科大讯飞想到的办法是借鸡生蛋,他们找上了全球语音巨头Nuance,成为Nuance的代理,但为了更好的拓展市场,科大讯飞采取与Nuance建立联合实验室的方式曲线入局。

得到Nuance的助力,科大讯飞开发了一套可以让消费者使用语音选择彩铃的系统“声动炫铃”。这套系统被迅速从安徽联通推广到联通总部,中国电信、中国移动开通彩铃业务后也选择了这套系统。基于此,科大讯飞进一步探索了个性化彩铃、爱吼网等产品,当时联通的音乐、彩铃相关语音业务平台几乎都由其包揽。

凭借上述业务和收入,科大讯飞开始了连续3年净利润130%的复合增长。2007年营收突破2亿元。2008年5月12日,科大讯飞成功登陆深交所,成为中国第一个由在校大学生创业的上市公司,也是中国语音产业至今唯一的上市公司。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

科大讯飞在深交所敲钟

科大讯飞一上市受到诸多热捧,一是发行市盈率为29.98倍,接近当时证监会允许的30倍的最高上限;二是首次发行超额认购倍数却高达2313倍,中签率低至0.04%。

一片欢欣鼓舞之下,刘庆峰还是保持了冷静。当时的局面是,语音合成是科大讯飞的强项,占据了语音合成70%以上的市场份额;而语音识别相对较弱,在识别类电信级语音平台产品更是需要向Nuance公司购买语音识别授权,严重影响了该业务的毛利率进而影响整个公司的收益。很显然,刘庆峰得建立起属于科大讯飞自己的语音识别研发力量,而要单开语音识别这条线,刘庆峰得先找一个业务带头人,刘庆峰想到了胡郁。

刘庆峰和胡郁两个人都是宣城同乡,刘庆峰报考高考志愿是找胡郁父亲给的建议,两人是世交。刘庆峰是以高于清华录取线40多分的成绩考的中科大,也是那年1990年宣城理科状元,胡郁是1995年进中科大的,他是1995年宣城理科状元,科大讯飞还有一位宣城人,胡国平,科大讯飞研究院的副院长,他也是1995年进中科大的,他是那一年的宣城理科榜眼。宣城离合肥不远,当时没有高铁,但也是一天来回。

当时的一个契机是,胡郁老婆在香港大学霍强教授处读博士后,想让胡郁跟着去陪读两年,霍强教授也是王仁华的学生(1998年在日本京都ATR同当时在那做sabbatical语音研究的邓力教授共事过),当时在语音识别领域已经形成自己的江湖地位,刘庆峰去找老师王仁华商量,王仁华给了一个建议,胡郁在给老婆陪读的同时给霍强做研究助理,借此开始建立起科大讯飞在语音识别的班底。

2007年,霍强从香港大学转去微软亚洲研究院后,胡郁又去找王仁华的另一个学生江辉合作,江辉也是科大讯飞创业18罗汉之一,是当时中科大BBS上黑客版的版主,比刘庆峰高三届,因东京大学读博士离开。江辉在东京大学得到博士之后,被当时在加拿大滑铁卢大学任教的邓力教授招去做博士后。后来经邓力大力推荐江辉去了加拿大约克大学当教授,江辉今天是讯飞超脑计划的组长。

在语音识别领域,科大讯飞与清华王作英实验室也在合作,当时王作英实验室与科大讯飞对接的是一位叫吴军的人,对,就是写出《浪潮之巅》等畅销书的吴军,吴军今天是丰元资本的合伙人之一,也是著名的知识网红,当时他是王作英老师的硕士研究生。

就这样,胡郁三箭齐发,开始逐步组建起科大讯飞在语音识别领域的团队,但外界对科大讯飞的认知还是语音合成,胡郁和他的团队需要一次机会告知外界,科大讯飞不仅在语音合成上行,在语音识别上也行。

这个机会很快到来,就是由美国国家标准技术研究院举办的国际说话人识别评测大赛(NIST Speaker RecognitionEvaluation, NIST SRE)。2008年的NIST SRE评测提供了包含麦克风语音、电话语音等在内的不同来源的数据,再加上训练集与数据集的排列组合,共计有13项评测,是历年来评测组数最多的一届。这也给了科大讯飞以突破的机会,所提交的USTC-iFly系统也获得识别等错误率(EER)、最小检测代价(minDCF)两项第一名和检测代价(DCF)第三名。为此,科大讯飞在2008年6月5日特地发表公告报喜,称“语音识别与语音合成核心技术的共同进步将对科大讯飞业务持续健康发展起到积极推动作用。”

但这只是科大讯飞语音识别业务的一小步——NIST SRE评测的内容是,给定目标说话人以及包含六个说话人的测试语音片段,识别目标说话人是否在测试语音片段中说话。这更多的反映的是代表说话人身份的相关特征(如反映声门开合频率的基频特征、反映口腔大小形状及声道长度的频谱特征等)的语音信号提取能力,而非具体内容的识别。

此外,科大讯飞在NIST SRE评测所采取的GMM-UBM与GMM-SVM整合的模型在本次大赛中也被多家参赛机构使用。如科大讯飞的友商、背靠清华大学语音和语言技术中心的得意音通,在NISTSRE评测中采取的也是同样的模型,科大讯飞虽然在模型构建、调参等细节上稍占上风,但大家基本在同一水平线上,并没有拉开距离。

更困难的是语音识别技术在商业级别上的进一步应用:语音识别的主流方式是使用高斯混合模型(GMM)来建模,尤其以高斯混合模型+隐马尔科夫模型(GMM-HMM)在很长时间内都是占据垄断地位的建模方式。李开复的成名作、基于统计学原理开发的第一个“非特定人连续语音识别系统”SPHINX,其核心框架就是GMM-HMM,其中GMM用来对语音的观察概率进行建模,HMM则对语音的时序进行建模。Sphinx的出现打破了当时主流的“计算机难以有效识别连续的、不同口音的口语”的观点,此后Sphinx开始显示出一定的实用价值,也使得GMM-HMM成为语音识别的主要方向。

GMM-HMM的优点是训练速度快,可有效降低语音识别的错误率;声学模型小,容易移植到嵌入式平台中,但由于GMM没有利用帧的上下文信息,不能学习深层非线性特征变换,在实际的有噪音的商业级别应用中依然表现不佳,无法达到可用的级别。要想实现语音识别更广泛的商用,必须采用与以往不同的技术。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

邓力(左)和何晓冬

在大洋彼岸,华人语音的大神级人物邓力也在努力解决这一问题。在1994年,当邓力在加拿大滑铁卢大学任教时与其指导的一名博士在博士论文中提出了一种增强神经网络记忆的新模型,但在效果上仍然无法超越其他统计学习方法。就连这篇论文的外部评审、大名鼎鼎的神经网络之父GeoffreyHinton在看过这篇论文后都不得不承认,现阶段想要在神经网络方面有所突破实在太难。这使得邓力在随后的十余年中远离了神经网络研究,而把精力放在GMM-HMM,贝叶斯统计方法和生成模型研究上。

但现在GMM-HMM在商业应用上陷入瓶颈,邓力又想到了神经网络,他重新研究了Geoffrey Hinton在2006年发表在《Science》的那篇划时代论文《Reducingthe Dimensionality of Data with Neural Networks》,于是他2009和2010年两次邀请Hinton来到西雅图的微软雷德蒙研究院,看看如何将这篇文章提出的思路与其正在研究的深度Bayesian 语音识别模型结合起来。

值得一提的是,这篇论文“降维分层训练”的观点虽然今天看起来是理所当然,但在当时这篇论文看起来还是晦涩的,而且只有短短3页纸,很多原理没有细讲,因而也存在着很多的争议。直到2012年AlexNet在ImageNet上以巨大优势夺冠,才兴起了深度学习的浪潮,这是后话。

回到2009年底,在这一年的NIPS大会上,Hinton和邓力、俞栋举办了一个Workshop,总结了深度学习各种不同的方法在语音识别上的应用。总体来说当时邓力的研究有了一个阶段性的结果,但所有的深度学习在语音识别的应用都是聚集在大概只有100万帧左右的“小数据量”上,大规模的神经网络威力还没有显示出来。

大幕即将拉起,只是你我浑然不知。

在中国的语音产业江湖里,2010年是一个重要的年份。

在2010年2月和6月,邓力作为团队经理正式招聘了两位Hinton的研究生Abdo Mohamed和George Dahl分别加入微软西雅图研究院作为实习生,研究人员开始探讨如何利用深层神经网络改善大词汇量语音识别。Dahl在深层神经网络训练的丰富经验对研究产生了很大的推动,负责该项目的邓力和他手下的团队干将俞栋一道提出抛弃传统的用英语的40个左右的基本音素建模的方法,而使用深层神经网络,对一种比音素小很多、叫做senones的建模单元直接建模。senones的数量多达数千个,从音素到senones建模的要求自然高许多,如果做个类比,用senones建模大致相当于材料科学的纳米技术,使得语音识别模型能够更好地识别语音细节,从而提高了辨析的准确率。

随后邓力和俞栋将前馈神经网络(FeedForward Deep Neural Network,FFDNN)引入到声学模型建模中,将FFDNN的输出层概率用于替换之前GMM-HMM中使用GMM计算的输出概率,引领了DNN-HMM混合系统的风潮,并取得了很好的效果。这一系列研究结果的相关论文《Deepneural networks for acoustic modeling in speech recognition: The shared viewsof four research groups》于2012年发表,讲述了深度神经网络对语音识别产生的影响,怎么把不同的机器学习方法,包括深度神经网络的方法整合起来,使得大规模的语音识别得到进展,文章被引用约5200次,是语音识别领域中的经典论文之一。

对于这一改变语音识别业界格局的研究,科大讯飞成为了微软总部之外,第一批了解这一信息并着手这方面研究的团队,甚至早于微软亚洲研究院——2010年9月21日,邓力受邀回到母校中科大并与科大讯飞交流,他与俞栋分享了将神经网络应用于语音识别的最新成果。

而在这一年的10月,俞栋才在微软亚洲研究院声学组的一次内部讨论中提及使用深度神经网络和senones建模的相关研究。

正是在这次内部讨论中,微软亚洲研究院声学组的高级研究员Frank Seide意识到了这一研究的价值,他随即加入该项目,与俞栋一起,两支团队精诚合作,推进该项目的研究。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

Richard Rashid

在2012年微软大老板之一、负责全球技术的副总裁Richard Rashid在天津举行的一次会议上当场演示用深度学习做语音识别,将英文识别后,用机器翻译成中文,再用语音合成的方法产生中文语音——也就是说,他在上面讲英文,观众可以直接听到和他音色很像的中文——整场演示非常成功,几乎没有错误,这也引起了产业界的轰动,揭开了语音识别产业应用的新一页。这也成为纽约时报2012年10月份头版头条的一大新闻。纽约时报这篇文章的作者John Markoff亲自飞到西雅图的微软采访邓力, 也采访了Hinton。

这时邓力正代表微软同谷歌(代表人是Jeff Dean)和百度(代表人是余凯)竟争,用高价全职招聘Hinton,最终败给谷歌(这其中故事多多,有兴趣的读者可以关注几个月内邓力将出版的一本新书,左林右狸频道也会组织读书会,敬请期待)。

Hinton虽然木有去成微软,但与邓力一直保持良好的私交,他在多次公开演讲中高度评价他同邓力的合作。在2013年5月Hinton即将开始到谷歌工作前夕,Hinton到温哥华在由邓力任大会主席,共3千人参加的IEEE-ICASSP语音国际大会上作了整一小时的主题演讲。

2010年这一年,也是百度加入语音江湖的一年。2010年初,当时刚刚加入百度并为其组建自然语言处理部的王海峰找到声学所颜永红的团队,引进了声学所的语音技术后,百度于当年2010年10月在掌上百度上推出语音搜索。

百度此举是对谷歌的致敬和跟随,2008年,谷歌重启了6年前停止研发的语音项目。

谷歌最早在2002年着手开发语音搜索技术,但正如前面结果所证实的,PC时代网民还不习惯对着大屏幕进行语音交互,而智能手机的数量又比较少,因此语音搜索并无用武之地,谷歌也随之停止这个项目的开发。

但6年之后的2008年,iPhone的走红令谷歌意识到语音搜索的机会来临了。谷歌决定重启语音搜索开发项目,并首先针对iPhone推出了语音搜索应用程序,随后又向谷歌Android和RIM黑莓智能手机用户免费提供该应用程序。

谷歌的这一动作很自然而然引起了百度的注意,虽然此时谷歌已差不多在大陆无立足之地。

这一年的6月8日,苹果发布了拥有“100 多项创新设计”的经典产品iPhone 4,引发全球排队购机热潮。不过乔布斯不喜欢大屏,iPhone 4屏幕仅为3.5英寸,用全键盘打字时存在不少困难。

既然用手指输入文字体验不好,可不可以用语音输入?当时科大讯飞移动互联事业部产品经理翟吉博,用了三天时间写出一个Demo,后被公司讨论后决定正式推向市场,迅速引爆市场,这让科大讯飞上下欢欣鼓舞,也成为年度的创新产品之一。

翟吉博之前在摩托罗拉工作,是葛勇的实习生。葛勇也是科大讯飞最早创业的18罗汉之一,2008年,恰逢摩托罗拉把语音部门卖给Nuance,葛勇带翟吉博等一票人从摩托罗拉离开,胡郁借此把葛勇们找回来。和搜狗输入法一样,讯飞输入法也是妙手偶得。

科大讯飞最开始有18个创始人,上市的时候有14人是一致行动人,这14人中有13人是最早参与创业的,离开的5个人里,有前文提到的霍强和江辉,以及葛勇,另外两人是吴义坚和赖伟,这两人也是王仁华老师的博士生,今天是儿童机器人元趣公司的两位创始人,元趣也是市场上为数不多有自己语音合成和语音识别底层技术的公司,与之前他们超强的技术背景大有关联。吴义坚是少年大学生,读博士期间在科大讯飞干活,活干得很好,博士毕业的时候,科大讯飞想让吴义坚留下来,但吴义坚选择去了微软。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

吴义坚博士毕业照

虽然乔布斯不喜欢大屏,但他对于语音也同样很感兴趣。2010年初,一款名为“Siri”的应用在Apple Store上线,这是一款虚拟助手,可以连接42个应用,而不用用户多次打开应用。两周后,乔布斯便给Siri的创始人AdamCheyer打电话,直接表达想要收购的意愿。此时,Siri刚成功拿到B轮融资,而且与Verizon(美国最大的本地电话公司)签订了一份协议,在新的一年里成为其旗下所有Android手机的默认应用。但最终乔布斯的坚持还是打动了Adam,以2亿美元身价被其收购。Siri也从Android默认应用跳到了iOS专属应用阵营。

科大讯飞这一年发布了讯飞语点和语音云。2010年10月,科大讯飞推出集成了语音合成、语音搜索和语音听写等交互能力的“讯飞语音云”平台。

2010年是个分水岭,这一年后,中国语音江湖开始热闹起来。

在语音识别技术因为深度学习开始取得巨大突破后,工业界需要一个足够流行有足够多人用的产品来引爆之。

Siri成为这个引爆点应运而生的时代宠儿。

2011年10月4日,在苹果的发布会上,Siri以语音助手的形式随iPhone 4S发布。一开始Siri是没有声音的,只是以文本形式推送答案,加入语音技术是乔布斯的主意。iPhone4S让语音助手被大众所认识,但发布之时Siri没有推出中文服务,这给了很多中国创业者遐想的空间。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

智臻智能开始就此迅速转身,智臻智能的创始人袁辉没有看完乔布斯2011年的发布会,就给他的合伙人朱频频打电话,感慨这不就是他们想做的事情。袁辉曾经在微软工作过,他2001年创办了智臻智能,朱频频则毕业于中科大,是刘庆峰的师弟。2004年,智臻智能在MSN上推出的聊天助手小i机器人曾风靡一时,并引进数千万美元的风险投资进入。

2012年4月,小i机器人iOS版上线,在苹果WWDC大会上发布全新的iOS 6操作系统并在Siri中增加中文服务后,率先发起对Siri的侵权官司,袁辉和朱频频联合创办的智臻智能向上海一中院提起侵权诉讼,称苹果公司的语音助手Siri侵犯了它持有的“聊天机器人系统”专利权。此前智臻智能在2004年推出小i机器人之时,申请了一份名为“一种聊天机器人系统”的专利,直到2009年7月22日获准授权。智臻智能据此要求禁售所有装载Siri功能的iPod、iPhone以及iPad产品。如今这场官司还在最高法院,也阻碍了Siri的入华之路。

2012年3月,科大讯飞上线了Android版的中文语音助手讯飞语点,只是iOS版在Apple Store上迟迟未能通过上线申请。到2013年1月,在删减了包括语音拨号、发短信、搜索音乐以及设置提醒在内的多项实用功能后,讯飞语点终于在AppleStore上线。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

左林大叔&胡郁

胡郁对左林右狸频道说,讯飞语点是全球第二、中国第一的语音助手,言语中充满了无比的骄傲。讯飞语点不仅让科大讯飞的小伙伴们感到骄傲,更重要的让科大讯飞的发展迎来一个新的台阶,那就是中国移动对科大讯飞的入股,这让科大讯飞在之后的两三年里成为中国最红的科技股之一。

2011年年底,借中国移动在安徽开会,科大讯飞极力运作了时任中国移动CEO李跃到科大讯飞进行考察,就是这次考察中,讯飞语点成功的打动了李跃一行,此时在中国移动看来语音是一门大生意,可能改变移动互联网的竞争格局。在中国,谁能让机器更懂中文,成为关键。

2012年8月,中国移动正式宣布向科大讯飞注资13.6亿元,成为后者的第二大股东。中国移动以入股形式投资的企业并不多,在此之前只有香港凤凰卫视和上海浦发银行,科大讯飞是其投资的第一家技术型公司。

2012年12月5日,在中国移动全球开发者开会上,中国移动推出智能语音门户产品“灵犀”。

中国移动想通过这款应用作为入口级的产品,把音乐、12580、导航、视频等业务一一对接,从而盘活中国移动的整个数据和业务。

中国移动一直是科大讯飞的核心客户,也一直想抓住移动互联网的入口,曾研发手机操作系统Ophone,推出移动通信飞信、搜索引擎“盘古搜索”等,但这些项目最后基本上都失败了。2011年Siri推出后,中国移动想与苹果合作抢占中国移动互联网市场未果后选择了投资科大讯飞。

Siri令投资机构对语音市场的激情高涨,很多语音企业如思必驰、捷通华声都是在创业多年后首次拿到融资。也是在这一年,刘庆峰喊出千亿市值的口号。

这一年,也是百度加速进入语音行业的一年。李彦宏参加了内部一个关于深度学习的会议,会议结束后他非常吃惊,并给全公司写信,让所有产品经理都要了解人工智能技术的发展。

2012年11月,在王海峰推动下,由贾磊担当的百度语音团队上线了第一款基于DNN的汉语语音搜索系统,这让百度成为最早采用DNN技术进行商业语音服务的公司之一。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

贾磊

贾磊也是中国语音江湖里的重要变量,他师从中科院自动化所徐波所长,自动化所也是中国语音江湖的四大势力之一(另外三是声学所和二王),作为百度语音首席架构师,在百度期间,贾磊先后带队完成了语音输入法、语音搜索、智能手机语音助手等多个项目,并曾因为其优异的工作表现受到内外部的无数奖励,但在2016年却悄然离开,而对应的吴恩达带领团队研发的深度语音识别系统DeepSpeech被美国某媒体评为2016年十大突破技术之一,该技术也被应用在2016百度世界大会上发布的百度语音输入法。

贾磊离开百度与当时百度的首席科学家吴恩达关系颇大,种种信息表明,吴恩达与贾磊曾经上演过一山不容二虎的对决,正是吴恩达在2015年底直接找了李彦宏,让李彦宏做出了吴恩达in,贾磊out的决定。而在这之前,吴恩达和贾磊都向邓力请教过如何处理和调和他们对语音识别产品观念上的巨大分岐,邓力真是华人语音江湖的如来真佛和超级锦鲤啊。

百度在击退谷歌后,其最大的竞争对手搜狗的语音研发之路也是在2012年开始的。在外部看来,语音是搜狗在搜索上击败百度的机会,但在王小川自己看来,语音是输入法顺延要做的事情,这位前信息奥赛金牌得主做任何事情,都强调顺理成章,就像其觉得做翻译棒是语音输入法的延伸一样。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

王小川&左林大叔

2006年6月,搜狗输入法正式推出,迅速击败紫光拼音、微软拼音、智能ABC等输入法,成为全球第一大汉字输入法。到2008年,搜狗输入法的市场占有率达到了40%。

2012年,察觉到语音的重要性后,搜狗也开始研发语音技术,并于两年后为搜狗输入法引入语音搜索功能,又两年后发布语音交互引擎“知音”。

如今,搜狗、科大讯飞、百度输入法成为排名前三的中文输入法,而语音则成为排名的格局变量。

Siri也让一些语音从业者看到了新时代的到来,萌生了创业的念头。黄伟是其中的代表性人物,在Siri发布后没多久,也就是2012年春天,他从盛大创新院辞去了语音院院长的职位,创立了云知声。

黄伟同样是中科大毕业,1994年入学,他的另外一个联合创始人梁家恩也是中科大本科,1996年入学,好吧,如果一个语音团队里最核心成员里没有中科大的,那就请出门右拐吧。一开始黄伟并非学语音的,研究生读的图像,直到博士才转做语音。

2004年黄伟博士毕业的时候,正好赶上第二次人工智能浪潮濒临破灭,很多人都转行了,黄伟很幸运,他加入了摩托罗拉中国研究中心(MCRC)语音识别部门,主导开发出世界第一款手机声纹认证系统,当时黄伟团队7个人,共做了几十款手机的语音识别,支持13国语音,这些手机在摩托罗拉的销售量中,大概超过了2亿台。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

黄伟学生时代,这张照片中除了云知声的两个联合创始人黄伟(后右二)和李霄寒(前中),还有计算机视觉独角兽云从的两个创始人周曦(后右一)和姚志强(前左一)。

2008年在iPhone的变革下,摩托罗拉的手机业务备受打击。摩托罗拉将手机部门卖给了谷歌,而为手机而生的语音部门则被卖给了通过一路合并成为全球语音最大市场占有者Nuance。黄伟跟随团队去了Nuance,但Nuance的核心团队在欧美,内心骄傲且年轻的黄伟希望能有更大的作为。

这个时候,盛大创新研究院通过猎头找到黄伟。

此时,由陈天桥在1999年创立的盛大的网游业务达到顶点,陈天桥希望扩展到其他领域,由此创立了盛大创新院。盛大创新院由陈天桥胞弟陈大年一手负责,他亲自招揽了广大人才,并给予宽松的环境。其中,黄伟是陈大年找来负责语音研究的。

那个年代中国互联网企业还处于草莽时期,与摩托罗拉这样的外企在软硬件上都有很大差距。黄伟一开始对中国互联网企业并无多大兴趣,而且陈大年比自己还小两岁,这让黄伟在见陈大年前心里是无比抗拒的。但见完陈大年后黄伟却当场答应加入,黄伟对左林右狸频道说,陈大年身上有两点特质,一个是人很友好,一个是头脑聪明,这两个特质打动了黄伟。

那个时候iPhone刚发布也不过一年多时间,在国内智能手机的增长是在2008年底开始,基数也仅在百万级别。而陈大年在此时和黄伟大谈移动互联网,令黄伟从内心对陈大年刮目相看。

2009年7月,黄伟正式加入盛大创新研究院,并组建语音团队。

陈大年没有给黄伟定什么KPI,随他和团队怎么折腾,语音合成、识别,语义识别等等,今天AI里面跟语音相关的,那时候他们都做了,为盛大积累了大量的语音基数及专利,其语音团队在美国国家标准技术署(NIST)举办的声纹识别评测(SRE)大赛中,力压麻省理工、斯坦福研究中心、IBM等众多名校、名企,在9个单项任务中获得多个单项第一,整体综合指标第一。黄伟也很早接触到深度学习,他在2011年的interspeech会上和俞栋讨论之后就开始着手做深度学习语音识别系统。

2013年初,云知声在创办半年后马上发布了基于深度学习的微信语音输入插件,将语音识别率提高到90%以上,并称自己是中国第一个基于深度学习的语音识别系统,由此引发了与科大讯飞的口水战,但同时引起了投资机构的关注,启明的邝子平最先找到黄伟,第二天就同意投资。同一时间,阿里巴巴想以6000万美金收购云知声,和黄伟谈判的是同样被阿里收购的猛犸科技创始人如今Rokid创始人Misa(祝铭明)。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

阿里时期的Misa

2013年5月10日,马云在黄龙体育场当着数万员工宣布不做CEO让位给陆兆禧。云知声黄伟作为观礼嘉宾也在现场,他在黄龙体育场扯着嗓子给三位合伙人打电话,说阿里愿意出价6000万美金全资收购,他想征求下三位合伙人意见,卖还是不卖。黄伟对左林右狸频道说,如果合伙人愿意卖他就卖,一圈电话下来,合伙人都说不卖,于是转身拿了之前已经给了offer也见过大老板邝子平的启明投资的钱。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

云知声创始团队,右三为黄伟

也是2012年,在谷歌工作的李志飞看到了语音产业的创业机会,产生了回国创业的冲动。

李志飞曾在约翰霍普金斯大学攻读博士学位时研究机器翻译,开发的一个开源机器翻译软件Joshua曾经是世界学术界两大主流机器翻译软件之一。毕业之后,李志飞加入谷歌总部担任科学家,从事机器翻译的研究和开发工作,其间主要开发了谷歌的手机离线翻译系统。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

李志飞博士毕业照

2012年10月,在拿到红杉资本和真格基金的天使投资之后,李志飞从谷歌离职回国创业,带着“谷歌研究院第一个回国创业的科学家”的头衔以及雷欣等一批谷歌的同事,一起想在中国创立一个谷歌一样的公司,打造下一代移动语音搜索产品。N年前在华侨城创意产业园在接受左林右狸频道的采访时,李志飞坦诚他最开始的创业目标就是做一家细分领域的Siri。各位邻里会问,李志飞和雷欣不是做语义的吗,怎么也跳进语音江湖里?多说一句,李志飞和雷欣在美国读博期间都被邓力招聘过到他领导的微软语音团队做过实习生。这个世界不大。

乔布斯在Siri发布的第二天溘然长逝,乔布斯去世后,Siri在苹果内部也并没有得到重视,两个联合创始人在Siri发布后一年内先后离开,再次联合创立了VivLabs,后在2016年以2亿美金卖给了三星,成为三星的手机助手。

Siri最终没有大红,当然有内部派系斗争的缘故,但归根结底还是因为这是一个超越时代的产品。虽然语音识别在此时已经有很大进展,但交互起来体验感仍然只是勉强而已。可以说,如果不是苹果,语音助手很有可能还需要一段时间才会被大众所熟知。

Siri虽然未成,但变相教育并统一了市场认知,那就是光靠语音识别,技术上再先进也无法商用,于是,在2014年这一年,整个工业界齐刷刷的从语音识别开始转向语音交互以及认知计算,又回到ToB。

2014年这一年,微软发布了小冰,一个没有语音交互功能但界面更友好,亲和力更强的AI助手,虽然功能没有小娜强大,但定位更清晰的小冰获得了不比她姐姐少的关注。

2014年这一年,百度在谷歌推出谷歌大脑后很快宣布了百度大脑计划,而科大讯飞也紧跟步伐在当年年底的年度发布会上宣布正式启动“讯飞超脑”计划,希望研发出第一个中文认知智能计算引擎。

这些大脑计划,与IBM Waston类似,后者是IBM研发的能够使用自然语言来回答问题的人工智能系统,2011年该系统在美国的电视问答节目Jeopardy!(危险之旅!)上击败了两名人类冠军选手,从此一战成名。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

Waston参加Jeopardy!(危险之旅!)

Waston脱胎于语音识别系统ViaVoice,后者于1997年推出,是历史上第一个连续听写产品,在当时引起了很大轰动,次年被评为科技领域十大事件之一,亦促成了微软、英特尔、摩托罗拉等在中国相继成立研究院。Waston每秒可以处理500GB的数据,相当于1秒阅读100万本书。经过不断的训练,系统能够具备数据整理和分析的能力。而这也意味着,这个系统可以接入任何需要智能计算的行业。

2014年这一年,IBM投资10亿美元专门建立“Watson Group (沃森集团)”,对外提供认知解决服务方案,主要包括了Watson平台、Watson医疗、Watson物联网三大板块。就在这一年,WatsonGroup为IBM贡献197亿美元,成为IBM五大业务收入板块之中毛利最高的领域,在IBM总收入的占比也逐年不断上升。

科大讯飞也看好医疗,不过前有Watson,后者Nuance,都是自己的老大哥。科大讯飞还是将最大的资源投入到最为公司赚钱的教育领域,此时正好遇到了在线教育的爆发。如今科大讯飞的教育产品包括课堂教学(在线课堂、畅言交互式多媒体教学系统、畅言智能语音等)、智能考试(标准考场、网上阅卷、招生考试、普通话测试、英语听说测试等)、学习产品、教育评价、早教玩具(能力培养、趣味对话、故事机等)覆盖从低到高各层面的产品组织。

同时,科大讯飞收购了很多家语音评测公司,包括启明科技等,持续的投入和连续的收购让科大讯飞在教育市场形成了垄断,目前所有省份的口语评测用的几乎都是科大讯飞的引擎。

也就是在2014年,思必驰痛下决心将负责教育行业的部门声驰剥离,以9000万卖给了网龙,自己则把精力收缩专注智能硬件和物联网。

思必驰是毕业于剑桥大学的高始兴和俞凯等人于2007年在英国剑桥创立的,次年携团队回国,早期注重教育市场,2009年研发出了全世界第一个中文发音作业系统。在语音识别技术上,就连胡郁也承认,在深度学习浪潮出来之前,剑桥的语音识别技术是领先的。俞凯的老板也是著名的语音公司VCallQ的创始人,该公司主要依托俞凯老板实验室的技术班底而成,俞凯本人在实验室是主力之一。VCallQ在2016年卖给了苹果,这是后话。

思必驰在2014年把教育业务剥离出去,一方面当然是因为资源在教育领域是至关重要的,科大讯飞此时与政府的紧密关系令其轻松拿到市场的大半壁江山,甚至是垄断。科大讯飞教育事业群副总裁丁鹏曾就竞争优势问题向媒体表示:就因为我能做全国的市场,那么安徽就会给我最大的支持;如果我能做全球的市场,那么国家就会给我最大的支持。

另一方面,高始兴和俞凯等人意识到,在教育领域虽然很难与科大讯飞抗衡,而语音可发挥的天地还很广阔,特别是有交互场景的领域,而此时,语音识别开始往语音交互走也成为思必驰团队的一致认知。

认可语音识别会向语音交互走这一趋势的还有阿里巴巴。

2014年这一年,阿里巴巴的语音部门IDST正式成立,即如今达摩院的前身,掌舵者为初敏。初敏被称为“木兰之母”,其在微软创建并领导语音合成研究小组研制出了第一个中英文双语语音合成系统“木兰”,这是当时微软唯一一个完全放在中国运营的业务。微软曾经在美国启动过语音合成相关技术的研究,但因成效不佳转而选择使用第三方的合成技术。正是由于初敏团队效果喜人,微软才决定自研。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

左林右狸团队拜访初敏(中)

初敏在微软做的“木兰”,和科大讯飞当年获得国家科技进步二等奖的“KD汉语文语转换系统”有异曲同工之妙。初敏在中科院声学所读的博士,师从著名语言声学研究专家吕士楠,和科大王仁华一样,吕士楠也是参加863项目语音测评的常客,在几个项目的评比中和科大讯飞互有胜负;在上个世纪90年代,吕士楠在汉语语音合成中,首次提出用“基音同步波形叠加技术”合成汉语,而王仁华在1993年得到863计划的首笔资助时也正是在这个方向的研究打动了专家组,才有了后来在1995年发布的KD系统。

按初敏的话说,吕士楠的学术范更浓,而王仁华则是一个更有商业意识的人,这也是科大讯飞技术从产品转化做得比较好的原因。吕士楠和王仁华两个团队的交流曾经非常密切,2000年科大讯飞拿到3000万元投资后,刘庆峰也拿了一笔钱出来与清华、声学所做联合研究,如今日科大讯飞的执行总裁胡郁,在当时就曾经在声学所吕士楠的实验室蹲点学习过。

声学所的孙金城老师曾经与刘庆峰一起参加了1998年的863语音合成的比赛,那次比赛,刘庆峰是第一名,孙金城是第二名,比赛完后,刘庆峰找到孙金城,说服孙金城与其合作,一起做语音合成,他们合作后的语音合成方案也成为中国最好的语音合成方案,刘庆峰请孙金城以顾问的身份加入创始团队,并送了孙金城两个点的股份,这部分股份在上市后也有千分之五左右,孙金城据说也是声学所乃至整个北京声学圈子的首富,身家最多的时候有四五亿人民币。

2009年,初敏受此时她的前上司今天阿里巴巴首席架构师王坚邀请,加入阿里。初敏从微软去阿里,一开始并非是奔着语音去的——在微软亚洲研究院开发完“木兰”系统的过程中,初敏注意可以接触、收集的数据量迅速增长,如何对大规模数据进行挖掘、分析和再利用成为了一个极富挑战的研究难题。由于感觉自己把所有语音合成能玩的都玩得差不多了,2007年,初敏做了一个重要决定,从语音组转到了以数据为中心的计算组,开始了一段新的研究历程,而初敏对云计算背后的大数据应用非常感兴趣,于是王坚去了阿里云后,就跟着王坚去了刚成立的阿里云。

2014年阿里正式成立语音部门IDST,初敏转回语音方向,并开始组建语音团队(初敏在微软亚研的旧同事鄢志杰就是她这个时候找来的),为Yun OS、支付宝、手机淘宝、钉钉等产品加入了语音交互能力。之后在2017年初敏在阿里萌生退意想换个环境,思必驰首席科学家俞凯听说后,和创始人高始兴三顾茅庐,最终说动初敏加入。

坊间曾经认为,思必驰游说初敏加入,看中的是初敏在阿里的背景,其实不然,思必驰与阿里合作的主要对口人是阿里语音的另一位女强人浅雪,初敏和浅雪在阿里语音体系里一时瑜亮,各成体系,也屡有纷争,思必驰邀请初敏加入,更多是两位创始人和初敏在语音产业发展理念上有诸多共通之处,比如都认为基于场景的语音交互会产生很多新的机会和孕育新的可能,都认为与高校实验室的紧密合作会形成源源不断的创新能力(思必驰与上海交大的合作是科技企业与高校紧密合作的又一典范)。

相比阿里巴巴和思必驰,科大讯飞要激进不少,他们不仅仅认为语音识别会向语音交互走,更重要的还会向认知计算走,这也是他们发布讯飞超脑的原因所在。

通过讯飞超脑,科大讯飞形成纵横战略,科大讯飞将主要业务分为八大部分,从最新的财务报表中营业额高低来划分,包括教育领域、智慧城市、政法业务、开放平台及消费者、汽车、智能业务以及其他。其中与政府关系密切的教育、智慧城市、政法位居前三,而汽车上升势头最为迅猛。

当然,光靠领先的语音合成和语音识别技术,讯飞超脑还难以名副其实,讯飞超脑得整合包括人脸识别等技术提供给客户。

这对科大讯飞不是什么难事情,2014年科大讯飞在A股呼风唤雨,几次定增也得到热捧,有了资金后,除了在全国各地开设子公司,科大讯飞也开始自己做投资。科大讯飞的投资体系还包括安徽省讯飞产业投资有限责任公司,以及安徽省信息产业投资控股有限责任公司。其中,前者为科大讯飞全资控股企业,后者为国有控股的投资公司,科大讯飞作为出资方参与其中,而二者的董事长均为原科大讯飞副总裁、董事会秘书徐景明。科大讯飞的这三家企业投资了近70家企业,其中包括优必选、商汤科技、寒武纪等独角兽,分别是服务机器人、人脸识别、AI芯片等领域的翘楚,也在多方面支持科大讯飞的生态。

这些独角兽中商汤科技与科大讯飞的联系最为紧密。商汤科技的创始成员大多来自港中大多媒体实验室汤晓鸥教授团队,汤晓鸥本人也是创始人之一。同时,汤晓鸥也是科大讯飞语音及语言信息处理国家工程实验室技术委员会的副主任。

讯飞发布超脑计划,与刘庆峰从来不甘于让科大讯飞只是做一个技术提供商的企图心暗合,更有Nuance的前车之鉴。早科大讯飞7年成立,如今全球语音市场最大占有者Nuance曾经是各大巨头友好的合作伙伴,苹果的Siri、亚马逊的Alexa早期都使用过其技术,甚至科大讯飞早期是其中国代理商,如今各大巨头均自主开发自己的语音技术,Nuance已被互联网巨头们抛弃,现只能专注于语音医疗领域偏安一隅,并且人才也被大量挖墙脚。

在中国,想只是靠提供技术而成为一家大企业,更是妄谈。这些年,科大讯飞也面临类似Nuance同样的局面,曾经的合作伙伴纷纷建立自己的语音团队。而在医疗领域,国内还并未发展那么快,而通过政府资源获取的教育市场也终究还是格局略小了些。

因此,科大讯飞从来没放弃做C端产品。

2014年这一年年底,科大讯飞做出新的组织结构调整,拆分成三个事业部,消费者事业部赫然在列,刘庆峰的亲密战友胡郁又一次被推到前台,担任消费者事业部的负责人。

如前所言,语音的第二个高潮是iPhone掀起的,但就像当初PC时代一样,Siri的后续发展并未达到预期,它只是作为附属品而不是必需品而存在,于是大家开始怀疑,是不是手机同样并不是最好的语音交互设备。那么,用户用语音交互的终端设备到底是什么呢?智能手表、音箱等一大批面向C端的硬件产品开始粉墨登场,各家开始在尝试,赌哪个形态的产品会成为移动互联网后下一个AIoT时代的开启者。

最早开始这种尝试的是出门问问。2012年回国创业时,李志飞从擅长的语音交互入手,为其他产品提供适配方案,在这一时期,出门问问做出了针对GoogleGlass和Android Wear的中文智能语音交互应用,然而这些让出门问问颇为值得的技术方案只能用叫好不叫座来形容,无法让普通用户形成共鸣。

按李志飞接受左林右狸频道采访时所说的,如果出门问问继续做AI解决方案公司固然很难死掉,但好死不如赖活着绝不是他想要的状态。所以在创业两年后,出门问问做了首次转型,从纯算法公司开始做软硬件结合,并发布全球首款中文智能手表操作系统TicWear,以替代国内功能不全的Google服务;半年后,又从软件切入硬件,推出智能手表TicWatch。李志飞和团队没有一个人懂硬件,正值诺基亚中国区大裁员,赶紧第一时间去抢了几个硬件工程师。值得一提的是,2015年,谷歌投资了李志飞创办的出门问问,并达成战略合作关系,采用出门问问为谷歌智能手表操作系统WearOS(原Android Wear)提供中文语音助手。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

左林大叔&李志飞

从此出门问问一发不可收拾地走上了硬件的不归路,从智能手表、汽车后视镜、智能耳机,出门问问保持着一年推出一个新产品系列的节奏,不断探索人工智能语音技术更适合的消费级应用场景。

其中,2016年立项并持续预热的出门问问的智能音箱曾经被李志飞寄予厚望。也就是在2016年这一年,出门问问邀请到了2018年新晋IEEE Fellow 华人科学家黄美玉博士加入,帮助建立了MobvoiAI Lab,用三个月时间领导完成给台湾远传电信的一整套本地化语音助手的开发。黄美玉师从美国卡耐基梅隆大学的Raj Reddy(1994年图灵奖获得者),跟李开复、洪小文、黄学东一个组,后加入微软研究院,在微软工作18年,参与bing机器翻译以及cortana等产品研发,是微软亚洲研究院语音识别和语义分析研究的主导者之一。

整个智能音箱的故事则要从亚马逊说起。2014年11月7日,亚马逊的先进技术研发部门Lab 126突然丢出了一款智能音箱Echo。或许是前一款产品FirePhone败走麦城的阴影尚未散去,这款脱胎于Lab 126 Project C的产品发布相当低调,不仅没有举办一场单独的发布会,甚至没有去蹭在4天后的双十一召开的亚马逊年度开发者大会Re:Invent2014的场子。但就是这款当初未被寄予厚望的产品在2015年6月正式发售后,当年出货量达250万台。到2016年,Echo的出货量更是达到520万台,击败传统音箱巨头Sonos,取得在线音箱份额第一的霸主地位,占据了全球智能音箱88%的市场。

也就是2016年起,此前一直押注语音助手的各大巨头也开始反应过来,纷纷推出智能音箱。2016年11月,谷歌推出GoogleHome,用了一个季度的时间,抢下全球智能音箱10%的份额;2017年6月,苹果为Siri找到一个安放的躯体,推出智能音箱HomePod。

而在国内,由于软银、富士康以及阿里巴巴三大巨头押注的服务机器人Pepper上市后的表现大大低于市场预期,加上市面上一大堆和音箱外形功能一样却在讲机器人故事的产品并没有出现爆款,因此国内巨头对智能音箱的态度不是很积极,除了一直将亚马逊作为对标对象的京东。

2015年3月,京东与科大讯飞成立合资公司灵隆,并在三个月后也就是2015年6月就推出智能音箱叮咚。

到2016年,Echo在市场上的惊艳表现让更多国内互联网公司加速在智能音箱市场的布局,并且用价格战的方式让这场竞争变成只有巨头才有入场券的游戏。

尽管BAT、小米、360等大公司在2016年就开始了智能音箱的项目讨论和立项,但真正产品化的步伐要谨慎得多。2017年7月份,阿里和小米先后发布了第一款智能音箱天猫精灵和小爱同学;2017年11月份,百度在自己的开发者大会上通过9个月前全资收购的初创公司渡鸦科技推出智能音箱ravenH,4个月后又与其投资的企业小鱼在家联合发布小度在家智能视频音箱,7个月后发布首款自有品牌智能音箱小度,与渡鸦音箱1699元、小度在家699元相比,这款音箱价格低至89元;腾讯的步伐直到18年4月才姗姗来迟,推出了智能音箱听听。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

何晓冬(左)和俞栋

相比之下,推出最早的叮咚算是起了个大早赶了个晚集,在占据了先天优势的情况下并没有带来像Echo一样的市场效应。这让京东对科大讯飞产生了质疑,于是开始自己研发语音技术,其中最标志性的动作是招募美国微软雷德蒙德研究院主任研究员、深度学习技术中心负责人何晓冬博士加入,何晓东博士也是邓力团队的核心成员之一(一段时间,何晓东与俞栋一起向邓力汇报)。如今京东与科大讯飞的合资公司灵隆已宛若空壳,CEO魏强也于2018年11月初低调离职。当然,这并不意味着京东放弃了智能音箱的市场,而是会独立研发。就在2018年12月4日,京东召开了IOT战略发布会,发布两款智能耳机、两款智能音箱,以及智能家居套装,语音交互完全由何晓冬团队研发。

也就是说,在智能音箱这个事情上,科大讯飞起了个大早,赶了个晚集。这里面原因很多,合资公司这样的机制很难成事有其客观原因,但更多还是在于ToC这个事情,2015-2016年的科大讯飞还没有准备好,也没有拼刺刀的心理建设。

在智能音箱这个市场上,2016年也有很多新生力量加入,其中最引人注目的是Misa。

2016年这一年,离开阿里两年后的Misa发布了蛋形机器人Rokid,杀入智能音箱这个江湖。Rokid可谓是含着金钥匙而生的,联合创始人是金山的前CFO,天使投资人里有Misa的伯克利校友91前CEO JOE,有刚从阿里准备离职去IDG的楼军,有他在阿里的老上级吴泳铭,还有线性资本的王淮。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

Misa(C位)和团队

Rokid 一亮相就得到小圈子的广泛好评,不论产品设计和还是场景的考量都很见功夫,当然还让人吐槽的是它的价格,但即便如此,1399的价格Rokid居然能出掉六位数的货,还是让人惊叹的。

有意思的是,2018年, Rokid不再对外公布自己的音箱出货量,公司的重点也转变为给其他音箱公司提供交互等方案提供上来,Misa用了赋能一词描述他在智能音箱这个江湖的角色和定位。

Misa这样的超级产品经理在音箱这个产品上的转身和退让也是中国智能音箱市场的一个真相,那就是在大公司战略前面,产品很重要,但不是最重要的事情。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

左林大叔&Misa

智能音箱大战的逻辑在于,在语音的应用场景中,智能音箱所代表的家居场景是仅次于通讯的第二大市场,如果再进一步看,无论是可穿戴设备、机器人,还是智能音箱,巨头争夺的是背后的平台控制权,在人工智能迅速发展的大背景下,语音平台有机会成为物联网时代下新的“操作系统”,这也是为何百度阿里以及小米在这个市场上血战到底的原因所在。

在这样的一个市场里,其实就是寡头的游戏。

左林右狸频道在采访中被告知,在智能音箱以及更多的消费类产品市场上,科大讯飞的角色多少有些拧不清楚,一方面是裁判员,是很多公司的技术提供商,另一方面是运动员,跑步下场。这种既做裁判员又做运动员的双重身份让其进退维谷。

而随着人工智能的爆发下,大企业纷纷自研语音技术,加上初创企业的出现,语音方案的选择越来越多,科大讯飞开始逐步丢失了在价格和服务上的优势。

在价格上,智能音箱市场竞争日趋激烈,目前出货量大的都是走低成本产品市场,而科大讯飞的语音方案价格并不低,比如小米在做智能音箱之初找了科大讯飞,但科大讯飞要求一个音箱给10块钱的技术授权费,这对于小米来说成本太高了,而百度的服务几乎是免费;

在服务上,科大讯飞希望做生态,提供的都是通用方案,而不同的产品有不同的用户人群,比如音箱目前核心功能是播放音乐,那么为用户提供好的音乐搜索服务是至关重要的,而儿童机器人注重教育,为不同年龄层不同需求的小孩儿提供优质的人机交互尤为关键。左林右狸频道接触过不少做这类产品的公司,大多数都从最开始选择科大讯飞方案到如今做了其它选择。

科大讯飞就像一棵树,以语音技术为根,在各个领域开枝散叶。语音的应用场景越多,对语音的技术要求也越细分,也给了初创企业机会,声智科技便是其一。

2016年,在声学所待了十几年的陈孝良在看到人工智能的爆发和市场前景后下定决心出来创业。陈孝良清楚如今语音交互平台方面巨头的机会更大一些,因此他选择了以语音交互的底层方案作为突破口,着重解决远场语音交互的前端标准化和通用性问题,也获得了与巨头合作的机会。如今,BATMH等均为声智科技合作对象,其中百度还成为其投资方。2018年年底最新的消息是声智科技获得新的一轮融资,可喜可贺。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

陈孝良在中科院声学所汇报工作

抢科大讯飞饭吃的还有ROOBO。

ROOBO创始人刘颖博并非做技术出身,他毕业于北京交通大学会计专业。毕业后刘颖博创业做过一些互联网项目,包括Koomail、食神摇摇。2014年,当刘颖博想再度创业时,他发现当初只要是个APP就有人投的时代已经过去,只能做硬件了。他找来了两个朋友:前360手机助手、搜狗手机输入法创始人尹方鸣,前360安全卫士负责人雷宇,几个互联网人开始做硬件。

ROOBO的定位是人工智能解决方案。最开始刘颖博没想自己做硬件,他连模组是什么都不懂。为了验证方案,ROOBO做了机器人布丁,一开始经人介绍他找到深圳一家做供应链的公司老板,想让对方负责ROOBO所有的供应链事项,但对方不认为一群互联网人能做什么硬件,没答应。无奈之下,刘颖博只能自己组建团队做硬件,从华为挖了一批人。如今深圳的硬件团队已经有近百人。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

刘颖博带队杀回深圳

2018年7月,ROOBO在深圳举办了一场发布会,会上刘颖博宣布使用ROOBO平台的机器人出货量已经达500万台,提前完成了一年的出货目标。对于这个结果,刘颖博也是没想到的,他觉得很大原因是因为当初被迫做硬件,从而让团队对于硬件的理解能更加深厚。

当然,内心流淌着互联网基因的刘颖博还是更喜欢研究软件部门,他希望在机器人交互上能有更多的摸索和玩法。而因为做机器人人机交互解决方案,也让ROOBO成为科大讯飞的竞争对手之一。有意思的是,ROOBO初创的时候曾经找科大讯飞要过融资,还进入过科大讯飞多轮投委会,刘颖博也飞到合肥去朝圣过刘庆峰,但双方最终没有走到一起,一说是ROOBO要的金额过多,超过了科大讯飞的射程,另一说是科大讯飞当时在二选一中选了优必选。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

从左至右为雷宇、尹方鸣、胡郁、刘颖博、于继栋(科大讯飞云平台事业部总经理)

在科大讯飞起家的语音合成TTS领域,也遇到了猎户的强力阻击。

2016年9月,傅盛以个人身份投资成立了猎户星空,2017年5月,傅盛推动猎豹给猎户星空投了4000万美金,把自己名下的大部分股份转给了猎豹,对应换来了傅盛在猎豹的更多表决权,同时猎户星空也演变成为猎豹的控股子公司,傅盛借此全面掌控了猎户星空。

2018年3月,傅盛为猎户星空在水立方举行了一场盛大发布会,推出3款服务机器人、小豹音箱以及机械臂,并发布自主研发猎户机器人平台Orion OS。

傅盛成立猎户星空,是想奔着做机器人去的,由此积累了诸多技术,但最多的是语音合成相关的技术积累,猎户先后为喜马拉雅的小雅、小米的小爱同学、美的的小美以及华为音箱等多款智能音箱提供语音合成技术,按照傅盛的说法,市场上30%的智能音箱都在用猎户的TTS服务,刨除BAT都在用自己的TTS服务后,在这个细分市场上,猎户确实压科大讯飞一头。在翻译棒这个市场上,猎豹翻译笔也与科大讯飞打起谁是第一的口水战,还有搜狗以及准儿等多家公司,虽然量都不大,但这个领域木有巨头进入,更多是拼产品和服务,还算良性。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

傅盛&左林大叔

更多语音公司在汽车这个领域与科大讯飞短兵相接。

2017年4月,大众汽车集团(中国)宣布与出门问问成立一家合资公司,其中大众汽车集团(中国)将投资1.8亿美金,用于支持双方在智能出行领域的业务合作以及出门问问未来的发展。

在智能可穿戴、智能家居硬件产品之外,车载设备也是出门问问将人工智能应用落地的场景之一。2016年11月22 日,出门问问举行以“智驾新镜界”为主题的冬季新品发布会,发布车载机器人问问魔镜TicMirror和ADAS高级驾驶辅助系统问问魔眼TicEye。在与大众汽车集团(中国)成立合资公司后,这些车载产品将由合资公司进行后续的开发和运营。2018年,出门问问仅用一年通过了车规级前装语音测试,跻身车载前装语音交互第一梯队。而这些技术成果已落地出门问问与大众旗下的合资公司。目前,合资公司提供的语音与车内互联系统已被纳入江淮大众的一款新能源电动汽车前装中,合资公司还与赛德西威联合打造并发布了智能车机产品。

2018年9月19日,云知声与吉利集团旗下亿咖通科技(ECARX)宣布共同出资成立一家合资公司,开展面向汽车前装市场的车规级AI芯片研发,合资公司落地合肥高新区。

思必驰目前主要是靠车萝卜抢占后装市场,在前装市场则选择了奇点汽车、小鹏汽车等互联网汽车品牌进行合作。阿里是思必驰的投资方,这样的布局也在情理之中。

关于市场占有率,思必驰和云知声也都宣称自己在后装市场占有70%。由于重点业务的高度重叠,双方多次在朋友圈掐架。

云知声和思必驰另一个步伐一致的是AI芯片。这一次云知声要抢先一步,在2018年5月就发布了面向物联网的AI系列芯片UniOne以及第一代芯片“雨燕”。思必驰则是在2018年6月宣布融资消息时透露AI语音芯片将在下半年流片。

思必驰在2018年12月13日公布要开芯片发布会,云知声在2018年12月21日公布要开芯片发布会。2019年1月4号思必驰开发布会,而云知声在1月2日抢先召开了发布会,这一动作挺耐人寻味的,难怪思必驰的市场人员在和左林右狸频道聊天时不禁感慨,“挺心疼他们的市场人员的”。

AI芯片被认为是抢占市场的关键。除了云知声和思必驰,出门问问也在2018年5月发布了已经量产的AI语音芯片模组“问芯”,Rokid也有自己的语音芯片。

沸腾新十年 | 中国语音产业江湖和科大讯飞的前半生

黄伟&左林大叔

而据左林右狸频道获悉,中科信利也在计划与外部企业合作推出AI芯片。中科信利面临着科大讯飞同样的问题,随着BAT等企业都组建自己的语音实验室,渐渐失去了技术优势,目前业务还是以国家信息安全以及客服为主。中科信利联合创始人赵庆卫向左林右狸频道表示,目前他们也在计划引入外部资本,将企业资本化从而寻求长期发展。

科大讯飞倒很决绝的不做AI芯片,这很大原因在于,科大讯飞的ToB服务更多是高举高打,而不像思必驰云知声这样要能提供帮助客户能解决问题的从云到端再到芯片模组的一整套解决方案。

在车载市场科大讯飞动得也很早,2013年,在奔驰公司组织的全球中文语音识别系统测试中科大讯飞荣获第一的成绩,也成为科大讯飞进军车载市场的契机。

如今,科大讯飞在汽车领域的产品包括三种:车载智能语音助手小飞鱼、向车机供应商提供的语音技术解决方案,直接向车企提供整个车机系统。目前在第二种产品即后装产品的落地上,科大讯飞的语音技术在200多款车型累计1000万辆车上应用。但在第三种的前装市场上,目前并未看到科大讯飞比较好的成绩。不过,科大讯飞也在汽车领域投入了400人,明显也是相当卯足了劲。有意思的是,科大讯飞总裁胡郁在接受左林右狸频道采访时表示称,科大讯飞在整个车机语音市场占80%。

好吧,肯定有人在说谎,只是谁是长鼻子的匹诺曹呢。

语音说到底是一种交互方式,就像Dos时代的键盘、Windows时代的鼠标、iPhone时代的触摸屏,语音会不会成为下一代人机交互的方式。谁也不知道答案,但这些人都坚信不疑,他们都期待开创一个新时代。

最后,记得关注微信公众号:镁客网(im2maker),更多干货在等你!

镁客网


科技 | 人文 | 行业

微信ID:im2maker
长按识别二维码关注

硬科技产业媒体

关注技术驱动创新

分享到