苹果公司在人工智能领域迈出了重要的一步，推出了能够同时处理文本和图像的大规模模型MM1。这一发展标志着苹果公司在AI技术上的一次飞跃，其模型参数高达300亿，能够处理包括文本、图像和视频在内的多模态输入。MM1系列模型在自定义格式化、对象计数、光学字符识别、常识推理和基本数学功能等任务上表现出色。通过利用包括图像-标题对和仅文本文档在内的多样化预训练数据，苹果公司开发出了在各种基准测试中表现优越的模型。
详细介绍苹果MM1模型的研究论文为提供了公司所采用的架构选择和训练方法的宝贵见解。值得注意的是，输入图像的分辨率和训练中使用的模态比例显著影响模型的性能。此外，预训练视觉编码器已被证明可以增强MM1的整体性能，突出了为特定任务优化模型组件的重要性。