behind翻译_翻译器拍照扫一扫
该模型支持高达100种语音和语言的翻译，能够执行从语音到文本、语音到语音、文本到语音以及文本到文本的多模式翻译任务。例如，它可以将英文语音自动翻译成地方中文语音，如闽南话，从而极大地便利了跨语言交流。
不仅如此，SeamlessM4T集成了Meta之前发布的NLLB、MMS等翻译模型，并利用了总计270,000小时的语音和文本对齐数据。这使得它成为目前规模最大、功能最全面的开源翻译模型之一。
相关论文可在Meta研究网站查阅。而想要进行在线体验，可以访问SeamlessM4T在线演示平台。
至于SeamlessM4T的简要概述，在当前的翻译产品市场中，多数产品仅能处理常见语音和语言，对于小众语言支持较弱。相较之下，SeamlessM4T打破了这一局限，支持多达100种语音和语言，不仅提高了翻译效率和质量，还降低了延迟，使得全球各地的人们能够流畅地沟通交流。
Meta表示，SeamlessM4T的多模式翻译功能得益于其强大的翻译模型组合。其中包括
- No Language Left Behind (NLLB)：Meta于2022年7月发布的一款支持200种语言的翻译模型，该模型对冷门语言的支持较好，平均翻译准确率提升显著，并已为百科提供翻译服务。
- 通用语音翻译器：Meta在2022年推出的产品，能够识别并翻译多种地方口头语言，如闽南语，有效消除了地区间的沟通障碍。
这些模型共同构成了Meta的“变形金刚”般的SeamlessM4T。
关于SeamlessM4T的训练数据
SeamlessM4T之所以能够支持如此丰富的语音和语言翻译，离不开其高质量的训练数据集。这包括但不限于语音到文本、语音到语音、文本到文本等多模式训练。除了人工翻译和转录的数据外，Meta还利用大规模网络数据和语音存储库，构建了SONAR等多模态文本嵌入空间。Meta还通过预训练和微调等技术，对SeamlessM4T进行了进一步的优化。
关于SeamlessM4T的评测结果
该模型在100种语言中实现了最先进的翻译结果，并在自动语音识别、语音转文本等多项任务中表现出色。为了更准确地评估性能，Meta还将无文本指标扩展应用到评估体系中。在鲁棒性测试中，SeamlessM4T的表现也优于当前最先进的翻译模型。
SeamlessM4T以其出色的多语言处理能力和高效的翻译效率，为全球范围内的交流提供了强大的支持。
