马斯克突发Grok 1.5！上下文长度至128k，推理能力大幅提升
腾讯科技讯 3月29日消息，“硅谷钢铁侠”埃隆·马斯克（Elon Musk）旗下的人工智能初创公司xAI宣布正式推出Grok-1.5，该模型能够进行长语境理解和高级推理，将于近日向X平台Grok用户和早期测试者开放。
通过在两周前公布Grok-1的模型权重和网络架构，xAI展示了该公司截至去年11月取得的进展。此后，xAI在最新模型Grok-1.5中提高了推理和解决问题的能力。
01 能力和推理
Grok-1.5的基准测试得分情况
Grok-1.5最显著的改进之一是它在编码和数学相关任务中的性能。在xAI的测试中，Grok-1.5在数学基准测试中获得了50.6%的分数，在GSM8K基准测试中获得了90%的分数，这两项数学基准测试涵盖了从小学到高中的各种竞赛试题。此外，它在评估代码生成和问题解决能力的HumanEval基准测试中获得了74.1%的分数。
02 长上下文理解
Grok-1.5能够处理128K Token的长上下文
Grok-1.5能够在其上下文窗口中处理多达128K Token的长上下文，这是它的一个新特征。这让Grok能够具有高达之前16倍的上下文处理长度，从而能够利用更长文档中的信息。
此外，该模型可以处理更长、更复杂的提示，在上下文窗口扩大的情况下仍保持其遵循指令的能力。在大海捞针（NIAH）评估中，Grok-1.5展示了强大的检索功能，可以在长度达128K的上下文中检索嵌入的文本，获得完美的检索结果。
03 Grok-1.5的基础架构
在大规模GPU集群上运行的尖端大型语言模型研究需要强大而灵活的基础架构。Grok-1.5建立在基于JAX、Rust和Kubernetes的定制分布式训练框架之上。这个训练堆栈让xAI的团队能够以最少的努力构建原型并大规模训练新架构。xAI的定制训练编排器可确保自动检测出有问题的节点，并把它从培训任务中剔除。
xAI还优化了检查点、数据加载和训练任务重启，以便在发生故障时最大限度地减少停机时间。
04 展望未来
Grok-1.5将很快向早期测试人员开放，xAI也期待收到反馈帮助其改进Grok。随着xAI逐渐向更广泛的受众提供Grok-1.5，该公司还将在未来几天为Grok-1.5推出若干项新功能。（编译/无忌）