微软研究团队最近推出了他们小型语言模型（SLMs）系列的最新成员——Phi-2。这款模型以其2.7亿参数的紧凑框架，出人意料地展现出了无与伦比的推理和语言理解能力。Phi-2的问世，是继Phi-1和Phi-1.5之后的又一力作，研究团队通过独特的语言模型扩展方法，证明了模型大小并非决定性因素。通过策略性地关注训练数据的质量和创新的扩展技术，Phi-2不仅能够匹敌，而且经常超越比它大25倍的模型。
Phi-2的成功关键在于团队对训练数据质量的重视。继他们之前的研究“教科书就是需要的一切”之后，研究人员精心策划了合成数据集和精心挑选的网络数据的混合，旨在将常识推理和一般知识灌输到模型中。这种对数据策划的一丝不苟的方法为Phi-2的卓越表现铺平了道路。
团队采用了一种新颖的知识转移方法，将Phi-1.5模型的知识嵌入到Phi-2中。这不仅加速了训练的收敛，而且在Phi-2的基准测试分数中也显示出明显的性能提升。这种创新的扩展技术使Phi-2脱颖而出，展示了战略性模型开发的力量。