(资料图)
5月31日消息，近日 Meta 团队开发了一款名为 Megabyte 的 AI 模型以抗衡 Transformer，据称解决了后者所面临的问题，并且在速度上提升了 40%。
目前 Transformer 在自然语言处理等领域非常流行，但由于其序列数据的处理方式是逐步进行的，无法并行化处理，因此训练速度较慢; 难以处理长序列，因为其在反向传播过程中，梯度很容易消失或爆炸;此外，由于需要在每一步保留历史信息，内存消耗较大。
而 Megabyte 模型将输入和输出序列划分为 patch，而不是单个的 token。这种架构使得对大多数任务而言字节级别的预测相对容易，例如根据前几个字符预测完成的单词等。
这意味着在大型网络中可以精简字符以提升效率，并且内部预测可以使用更小的模型进行。Megabyte 模型的这种方法解决了当今 AI 模型所面临的训练速度、可靠性及硬件占用比挑战。
此外，在计算效率方面，相比于等大的 Transformer，Megabyte 模型在固定模型大小和序列长度范围内使用更少的 token。因此可以在相同的计算成本下训练内容更丰富、体积更大、性能更好的模型。
(资料图)5月31日消息，近日 Meta 团队开发了一款名为 Megabyte 的 AI 模型以抗衡 Transformer，
海战单机游戏有哪些?1、《战舰猎手》《战舰猎手》是一款非常好玩的海上战舰战争游戏，3D的宏伟壮观游戏
侵犯著作权罪，是指以营利为目的，未经著作权人许可复制发行其文字、音像、计算机软件等作品，出版他人
男人结扎后影响性功能吗?没有影响在理论上男人结扎是对性功能是没有影响的。因为男人结扎只是经过手术结
百度网盘下载的文件在哪?baidunetdisk文件夹下面，无论是手机还是电脑都是默认该文件夹位置。电脑端：1
汽车熄火可以立刻踩刹车吗?汽车熄火的原因有哪些在汽车熄火主要有以下几个原因：油路不畅通;使用的油不
什么是逾期提示付款已拒付？到期日起十日后网银中进行提示付款,被承兑人拒付。逾期提示付款已拒付持票人
随着越来越多的国家制定举措，开发能够为强大的超级计算设施提供动力的国产处理器，印度刚刚公布了Aum
信用卡停息挂账申请的条件有哪些?要申请信用卡停息挂账，必须满足以下条件：1、客户必须是银行指定的有
信用卡半年没还款银行会怎么处理?1、银行客服催收银行行员在发现你信用卡未还款后，银行客服会致电联系
经销商融资的含义是什么?经销商融资是一种由零售商向其客户发放的贷款，然后出售给零售商银行或其他第三
信用卡欠款没还怎么解决?1、 尽快还款要杜绝自己逾期后就不用在意还款时间的想法，逾期后一定要想办法
1、促进骨胶原蛋白的生物合成：维生素C咀嚼片中含有丰富的维生素，用以后能够补充身体所需要的维生素，
信用卡逾期怎么办理停息分期?逾期被银行起诉了还能协商吗?下面是小编整理的一些相关信息，一起来看看吧!
小市值股票的优势是什么?首先，小市值股票的投资价值更大，短期内有巨大的增长空间。其次，小市值的股票
股票逃顶是什么意思?逃顶是一种股票术语，是指分时图逃顶做股票，要真正获得利润，还是要卖出股票才能产
