微软新推出的三款小型AI模型Phi3.5系列是什么

发布时间：2024-09-13 10:29:38 栏目：科技

导读 微软发布了一批新的轻量级AI模型，这些模型已开源，据称比谷歌的Gemini 1.5 Flash、Meta的Llama 3.1以及OpenAI的GPT-4o(某些方面)更好。...

微软发布了一批新的轻量级AI模型，这些模型已开源，据称比谷歌的Gemini 1.5 Flash、Meta的Llama 3.1以及OpenAI的GPT-4o(某些方面)更好。



Phi-3.5-mini-instruct、Phi-3.5-Mixture of Experts (MoE)-instruct 和 Phi-3.5-vision-instruct 是微软小语言模型 (SLM) 系列的最新成员，该系列被称为 Phi-3 系列。Phi-3-mini 是微软的第一款 SLM，于今年 4 月首次亮相。

新的 Phi-3.5 型号有哪些?

Phi-3.5-mini-instruct 拥有 38.2 亿个参数，而 Phi-3.5-MoE-instruct 拥有 419 亿个参数，据报道，它只对其中 66 亿个活动参数进行操作。与此同时，Phi-3.5-vision-instruct 包含 41.5 亿个参数。

AI模型的参数数量是其规模的指标。它还可以通过机器学习来评估AI模型所拥有的知识和技能。

同时，所有三个 Phi 3.5 模型都支持128k 个 token 的上下文窗口。上下文窗口以 token 为单位，表示 AI 模型在任何给定时间可以处理和生成的信息量。上下文窗口越长，AI 模型能够处理更多的文本、图像、音频、代码、视频等。

据微软称，Phi-3.5 Mini 的训练时间为 10 天，使用了 3.4 万亿个 token，而 Phi-3.5 MoE 模型的训练时间为 23 天，使用了 4.9 万亿个 token。该公司表示，Phi-3.5 Vision 模型的训练耗时 6 天，使用了 5000 亿个 token。输入到新 Phi-3.5 模型的训练数据集包含高质量、推理密集型、公开可用的数据。

有哪些功能?

简而言之，Phi-3.5 Mini 配备了基本和快速推理功能，可用于生成代码或解决数学和逻辑问题。由于它是多个专门从事某些任务的模型的组合，因此 Phi-3.5 MoE 模型可以处理跨多种语言的复杂 AI 任务。