在与MLPerf v6.0相同的硅片和插槽数量下，Intel Xeon 6980P处理器实现了Llama 3.1 8B服务器吞吐量的2.4倍增长，离线吞吐量提升了56%。这些成果仅靠软件改进就能实现，显示出持续优化如何从客户已部署的硬件中提升性能。英特尔合作伙伴也展现了类似的势头。
“MLPerf Inference v6.1展示了持续的软件优化如何从客户已部署的硬件中释放显著的新性能。在Xeon和Arc Pro上，我们持续提升完整的AI软件栈，同时扩展平台支持的模型、工作负载和系统范围。”
为什么重要：随着AI推理进入生产阶段，客户需要能够支持更大、更多样化模型的平台，同时随着时间实现性能提升、灵活性和价值。英特尔的MLPerf Inference v6.1结果证明了软件优化如何延长已部署基础设施的有效性能，帮助客户在CPU和GPU计算间实现扩展的同时，从已有系统中获得更多收益。
英特尔平台的客户和合作伙伴参与度也从v6.0的29个结果增加到v6.1的39个，扩展了第三方验证范围，超越了英特尔自身提交的部分。甲骨文提交了首份基于英特尔的材料;红帽提交了首个Xeon CPU推理提交，广达云科技和超微提供了首批合作伙伴使用Intel Arc Pro B70提交。
关于英特尔至强6结果：英特尔将 Xeon 在 MLPerf v6.1 中的参与范围从两个基准测试的 Xeon 6 SKU 扩展到 v6.0 的五个，CPU 推理结果从24个增加到35个。Intel Xeon 仍然是唯一在 MLPerf 推断提交中代表的独立服务器 CPU。
关于英特尔Arc Pro B70的成绩：英特尔Arc Pro B70的提交内容扩展了软件改进如何提升多种AI模型的性能。单节点配置四块Intel Arc Pro B70显卡，提供128GB显存，支持Llama 3.1 8B、Llama 2 70B、gpt-oss-120B、Whisper及端到端检索增强世代（E2E-RAG）提交。在v6.0中使用的同一四GPU系统上，gpt-oss-120B服务器性能提升了36%，离线性能提升了27%，反映出英特尔软件栈³的持续成熟度。
关于新的E2E-RAG基准：英特尔还共同开发并提交了新的MLPerf Inference v6.1端到端检索增强一代基准测试结果，这是本轮最复杂的新工作负载之一。在一次测量运行中，结合了Intel Xeon 6787P处理器和四块Intel Arc Pro B70 GPU，工作负载被分配到CPU和GPU之间，各自处理AI流水线的不同阶段：Xeon负责嵌入、重新排序、向量搜索和小语言模型（SLM），而Arc Pro B70 GPU负责大型语言模型（LLM）生成。结果展示了优化的CPU和GPU计算如何在完整的AI工作流程中协同工作。
英特尔持续的优化工作不仅限于基准测试结果。Xeon的改进被上游到广泛使用的AI框架中，使客户能够受益于已部署基础设施的软件进步，而对Intel Arc Pro B70的优化工作则推动了未来Intel GPU产品的内核、框架和服务栈的发展。