OpenAIo1-mini以其在数学和编程领域的卓越表现而备受瞩目,与前代产品OpenAI o1相比,它在各种评估基准上的表现不相上下。OpenAI预计o1-mini将成为需要推理能力但不要求广泛全球知识的应用的快速且经济的解决方案。针对Tier 5 API用户推出的o1-mini,与OpenAI o1-preview相比,成本降低了80%。让深入了解o1-mini的工作原理。
OpenAI的o1-mini是一个成本效益高的STEM推理模型,超越了同行。专门训练使o1-mini成为STEM领域的专家,擅长数学和编程。人类评估显示o1-mini在推理方面的优势,优于GPT-4o。安全措施确保o1-mini的负责任使用,增强了越狱鲁棒性。OpenAI通过o1-mini提供了一个可靠和透明的STEM工具。
LLMs通常在大型文本数据集上进行预训练。但这里有一个问题;虽然它们拥有这些庞大的知识,有时这可能是一个负担。看,所有这些信息使它们在现实世界场景中使用起来有点慢且昂贵。
o1-mini与其他LLMs的区别在于,它针对STEM进行了训练。这种专门训练使o1-mini成为STEM相关任务的专家。该模型高效且成本效益高,非常适合STEM应用。其表现令人印象深刻,特别是在数学和编程方面。O1-mini针对STEM推理的速度和准确性进行了优化。它是研究人员和教育工宝贵工具。
在单词推理问题的回答比较中,突出了性能差异。尽管GPT-4o表现挣扎,o1-mini和o1-preview表现出色,提供了准确的答案。值得注意的是,o1-mini的速度令人印象深刻,回答速度大约是3-5倍快。
ChatGPT Plus和团队用户:今天可以从模型选择器访问o1-mini,每周限制50条消息。
ChatGPT企业版和教育版用户:下周开始访问这两个模型。
开发者:API Tier 5用户今天可以试用这些模型,但目前尚不支持函数调用和流式传输等功能。
ChatGPT免费用户:o1-mini很快将对所有免费用户开放。
OpenAIo1-mini模型在各种竞赛和基准测试中的表现相当令人印象深刻。让逐一看看不同的组成部分:
在高中AIME数学竞赛中,o1-mini得分70.0%,与更昂贵的o1模型(74.4%)相当,明显优于o1-preview(44.6%)。这个分数使o1-mini跻身美国高中生前500名,这是一个了不起的成就。
在Codeforces竞赛网站上,o1-mini表现出色,获得了1650的Elo分数。这个分数与o1(1673)相当,超过了o1-preview(1258)。这使o1-mini在Codeforces平台上竞争的程序员中排名前14%。此外,o1-mini在HumanEval编程基准测试和高中级别的网络安全夺旗挑战(CTFs)中表现良好,进一步巩固了其编程实力。
o1-mini在需要强大推理能力的学术基准测试中证明了自己的实力。在GPQA(科学)和MATH-500等基准测试中,o1-mini超越了GPT-4o,展示了其在STEM相关任务中的卓越表现。然而,当涉及到需要更广泛知识范围的任务,如MMLU时,o1-mini可能不如GPT-4o表现好。这是因为o1-mini针对STEM推理进行了优化,可能缺乏GPT-4o所具备的广泛世界知识。
人类评估员积极比较了o1-mini与GPT-4o在各个领域的挑战性提示下的表现。结果显示,在推理密集型领域中偏好o1-mini,但在以语言为重点的领域中,GPT-4o领先,突出了模型在不同上下文中的优势。
o1-mini模型的安全性和一致性至关重要,以确保其负责任和道德的使用。以下是实施的安全措施的解释:
o1-mini的训练方法与其前身o1-preview相似,专注于一致性和安全性。这种策略确保了模型的输出与人类价值观一致,并减轻了潜在风险,这是其开发的关键方面。
o1-mini的一个关键安全特性是其增强的越狱鲁棒性。在StrongREJECT数据集的内部版本上,o1-mini展示了比GPT-4o高出59%的越狱鲁棒性。越狱鲁棒性指的是模型抵抗操纵或滥用其输出的尝试的能力,确保其保持与其预期目的一致。