【太平洋科技快讯】Meta近日推出了其最新的Llama 4系列人工智能模型，包括Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth。这一系列模型首次采用了混合专家(MoE)架构，通过将任务分配给多个专注于特定任务的“专家”子模型，显著提升了训练和推理的效率。

据悉，Llama 4系列模型经过大量未标注的文本、图像和视频数据的训练，具备了广泛的视觉理解能力。它们能够处理和整合各种类型的数据，包括文本、视频、图像和音频，并在这些格式之间实现内容转换，展现了强大的多模态处理能力。

Llama 4系列模型具备非常长的上下文窗口，其中Llama 4 Maverick的上下文窗口为100万个token，Llama 4 Scout更是达到1000万个token。这一特点使得它们能够处理长达7500页的文本输入，为医学、科学、工程、数学和文学等信息密集型领域提供了强大的支持。

目前，Llama 4 Scout和Llama 4 Maverick已在Llama.com网站、Meta的合作伙伴处以及WhatsApp、Messenger、Instagram Direct等平台上公开获取，而Llama 4 Behemoth仍在训练中。

Llama 4系列模型参数：

Llama 4 Scout：配备170亿活跃参数和16个“专家”模型，总参数达1090亿。该模型擅长文档总结和代码推理，且可在单个NVIDIA H100 GPU上运行，适用于高效信息提取和复杂逻辑推理任务。

Llama 4 Maverick：拥有170亿活跃参数和128个“专家”模型，总参数量高达4000亿。在创意写作、翻译和图像处理等方面表现优异，超越了许多竞品模型。

Llama 4 Behemoth：作为系列中最强大的模型，具备2880亿活跃参数和接近2万亿的总参数。在多个STEM基准测试中表现卓越，展现了强大的问题解决能力。