今日凌晨，Mistral AI 推出了他們最新一代端側(cè)模型 les Ministraux：Ministral 3B 和 Ministral 8B，這是兩款用于端側(cè)計(jì)算和邊緣用例的 SOTA 模型。

據(jù)介紹，les Ministraux 在知識(shí)、常識(shí)、推理、函數(shù)調(diào)用和效率方面達(dá)到了 10B 以下同類模型的新高度，可直接用于或微調(diào)為各種用途，從協(xié)調(diào)智能體工作流到創(chuàng)建專業(yè)任務(wù)工作者。

兩種模型都支持高達(dá) 128k 的上下文長度（vLLM 目前為 32k），Ministral 8B 具有一種特殊的交錯(cuò)滑動(dòng)窗口注意力機(jī)制（SWA），可加快推理速度并提高內(nèi)存效率。

使用案例

目前，為端側(cè)翻譯、無互聯(lián)網(wǎng)智能助手、本地分析和自主機(jī)器人等關(guān)鍵應(yīng)用提供本地、隱私優(yōu)先推理的需求越發(fā)強(qiáng)烈。

Mistral AI 方面表示，Les Ministraux 就是為這些應(yīng)用場(chǎng)景提供計(jì)算效率高、延遲低的解決方案而設(shè)計(jì)的。從獨(dú)立業(yè)余愛好者到全球制造團(tuán)隊(duì)，Les Ministraux 可滿足各種使用情況。與 Mistral Large 等大語言模型（LLM）結(jié)合使用時(shí)，Les Ministraux 還是多步驟智能體工作流中函數(shù)調(diào)用的高效中介?？梢詫?duì)它們進(jìn)行微調(diào)，以處理輸入解析、任務(wù)路由和根據(jù)用戶意圖在多種上下文中以極低的延遲和成本調(diào)用 API。

Benchmark

Mistral AI 在多個(gè)任務(wù)中展示了 les Ministraux 的性能，其表現(xiàn)始終優(yōu)于同類產(chǎn)品。他們利用內(nèi)部框架重新評(píng)估了所有模型，以便進(jìn)行公平比較。

1.預(yù)訓(xùn)練模型

圖｜Ministral 3B 和 8B 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Mistral 7B 在多個(gè)類別上的比較

圖 | Ministral 3B 和 8B base 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B 和 Mistral 7B 的比較

2.Instruct 模型

圖｜Ministral 3B 和 8B Instruct 模型與 Gemma 2 2B、Llama 3.2 3B、Llama 3.1 8B、Gemma 2 9B 和 Mistral 7B 在不同評(píng)估類別上進(jìn)行了比較

圖｜3B 系列 Instruct 模型的比較 – Gemma 2 2B、Llama 3.2 3B 和 Ministral 3B。圖中展示了 Ministral 3B 與更大的 Mistral 7B 相比的改進(jìn)之處。

圖｜8B 系列 Instruct 模型對(duì)比 – Gemma 2 9B、Llama 3.1 8B、Mistral 7B 和 Ministral 8B

此次 les Ministraux 的推遲，恰好為 Mistral 7B 發(fā)布一周年之際。Mistral AI 表示，“我們目前最小的模型（Ministral 3B）已經(jīng)在大多數(shù)基準(zhǔn)測(cè)試中超越了 Mistral 7B”，“更多模型，敬請(qǐng)期待?！?/p>