商务服务
比OpenAI的Whisper快50%,最新开源语音模型
2024-08-18 07:52

声明:本文来自于微信公众号 AIGC开放社区 作者:AIGC开放社区,授权转载发布。

比OpenAI的Whisper快50%,最新开源语音模型

生成式AI初创公司aiOla在官网开源了语音模型Whisper-Medusa,推理效率比OpenAI开源的Whisper快50%。

aiOla在Whisper的架构之上进行了修改采用了“多头注意力”机制的并行计算方法,允许模型在每个推理步骤中预测多个token,同时不会损失性能和识别准确率。

开源地址:https://github.com/aiola-lab/whisper-medusa

huggingface:https://huggingface.co/aiola/whisper-medusa-v1

传统的Transformer架构在生成序列时,是遵循逐个token的顺序预测过程。这意味着在生成新序列时,模型每次只能预测下一个token,然后将这个预测的token加入到序列中,再基于更新后的序列预测下一个token。

这虽然能够确保生成序列的连贯性和上下文相关性,但也有一个非常明显的缺陷——极大限制了模型的推理效率

此外,由于每次只能处理一个 token ,模型难以捕捉到数据中的长程依赖关系,可能会忽略一些重要的全局信息,从而影响模型的整体性能和准确性。

Whisper-Medusa使用了10头的多注意力机制, 能各自独立地计算注意力分布并行地处理输入,然后将各自的输出通过拼接的方式组合起来,形成一个多维度的向量。

随后向量被送入全连接层进行进一步的处理,以生成最终的token预测。这种并行的数据处理方式不仅加快了模型的推理效率,还增加了模型的表达能力,因为每个注意力头都可以专注于序列的不同子集,捕捉到更丰富的上下文信息。

为了使多头注意力机制在Whisper-Medusa模型中更高效地运行,aiOla采用了弱监督的方法,在训练过程中冻结了原Whisper模型的主要组件,使用该模型生成的音频转录作为伪标签来训练额外的token预测模块

使得模型即便没有大量手动人工标注数据的情况下,依然能够学习到有效的语音识别模式。

此外在训练过程中,Whisper-Medusa的损失函数需要同时考虑预测的准确性和效率。一方面,模型需要确保预测的token序列与实际转录尽可能一致;

另一方面,通过多头注意力机制的并行预测,模型被鼓励在保证精度的前提下,尽可能地加快预测效率。

aiOla使用了学习率调度、梯度裁剪、正则化等多种方法,确保模型在训练过程中能够稳定收敛,同时避免过拟合性。

业务场景方面, Whisper-Medusa能理解100多种语言,用户可以开发音频转录、识别等多种应用,适用于翻译、金融、旅游、物流、仓储等行业。

aiOla表示,未来会将Whisper-Medusa的多注意力机制扩展至20个头,其推理效率将再次获得大幅度提升。

    以上就是本篇文章【比OpenAI的Whisper快50%,最新开源语音模型】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/7026.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
手机应用未安装(手机应用未安装是怎么回事?)
  关于《手机应用未安装》的文章  随着科技的快速发展,智能手机已成为我们日常生活中不可或缺的一部分。手机应用作为我们使
手机不休眠是怎么回事(手机突然不休眠)
  关于《手机不休眠是怎么回事》的文章  一、引言  随着智能手机的普及,我们越来越依赖手机进行日常工作和娱乐。然而,有
二手手机回收价格(二手手机回收价格表下载)
  关于二手手机回收价格的探讨  随着科技的快速发展,智能手机的更新换代速度日益加快,二手手机市场也随之繁荣。越来越多的
手机抠图怎么抠(手机抠图怎么抠出来)
  《手机抠图怎么抠》  随着智能手机的普及,越来越多的人开始使用手机进行图片编辑和处理。其中,抠图是一项常见的操作,可
手机开启热点(手机开启热点电视连接不上)
  手机开启热点:便捷的网络共享方式  随着科技的不断发展,智能手机已经成为我们日常生活中不可或缺的一部分。除了通话、拍
手机梦三国(手机梦三国血条在哪设置)
  《手机梦三国》:一款融合历史与策略的游戏佳作  在当今手机游戏盛行的时代,一款融合了历史与策略元素的游戏——《手机梦
如何清空手机(如何清空手机通讯录联系人)
  如何清空手机:全面清理与优化的步骤指南  随着科技的快速发展,智能手机已成为我们日常生活中不可或缺的一部分。然而,随
手机冰雪壁纸(手机壁纸图片冰菓)
  文章标题:《手机冰雪壁纸:冰冷的艺术,温暖的情感》  随着科技的进步和智能手机的普及,手机壁纸作为一种个性化的表达方
手机3d扫描软件(手机3d扫描软件哪个好)
  关于《手机3D扫描软件》的文章  随着科技的飞速发展,智能手机的功能日益强大,其中,手机3D扫描软件的出现,无疑为我们的
手机屏幕最大尺寸(手机屏幕最大尺寸多少什么品牌)
  关于手机屏幕最大尺寸的研究与探讨  随着科技的飞速发展,手机已经成为我们日常生活中不可或缺的一部分。而手机屏幕的尺寸