DoNews7月19日消息，據(jù)機(jī)器之心報(bào)道，剛剛，OpenAI 突然宣布了「Mini」版本的 GPT-4o 模型。該公司表示，新的輕量級版本旨在讓更多公司和項(xiàng)目能夠獲得最先進(jìn)的技術(shù)。
這款名為 GPT-4o mini 的新模型立即上線，它在 MMLU 上的得分為 82%，目前在 LMSYS 排行榜的聊天方面分?jǐn)?shù)優(yōu)于 GPT-4。
除了立即在 ChatGPT 免費(fèi)版、付費(fèi)版上可用以外，GPT-4o mini 的商用價格是每百萬輸入 token 15 美分，每百萬輸出 token 60 美分 —— 比之前的 SOTA 模型便宜一個數(shù)量級，比 OpenAI 此前最便宜的 GPT-3.5 Turbo 還要便宜 60% 以上。
GPT-4o mini 在文本智能和多模態(tài)推理方面，在學(xué)術(shù)基準(zhǔn)上超越了 GPT-3.5 Turbo 和其他小型模型，并支持與 GPT-4o 相同范圍的語言。
GPT-4o mini 還在函數(shù)調(diào)用方面表現(xiàn)出強(qiáng)大的性能，使開發(fā)人員能夠構(gòu)建應(yīng)用程序，以獲取數(shù)據(jù)或執(zhí)行操作。
值得注意的是，與 GPT-3.5 Turbo 相比，GPT-4o mini 提高了長上下文性能。
GPT-4o mini 已在多個關(guān)鍵基準(zhǔn)測試中進(jìn)行了評估，包括：
-
推理任務(wù)：GPT-4o mini 在涉及文本和視覺的推理任務(wù)上優(yōu)于其他小型模型，在文本智能和推理基準(zhǔn) MMLU 上得分為 82.0%，而 Gemini Flash 為 77.9%，Claude Haiku 為 73.8%。
-
數(shù)學(xué)和編碼能力：GPT-4o mini 在數(shù)學(xué)推理和編碼任務(wù)方面表現(xiàn)出色，優(yōu)于以前的小型模型。在 MGSM 上，對于數(shù)學(xué)推理任務(wù)，GPT-4o mini 得分為 87.0%，而 Gemini Flash 為 75.5%，Claude Haiku 為 71.7%。編碼性能方面，GPT-4o mini 在 HumanEvalji'zhun 上得分為 87.2%，而 Gemini Flash 的得分為 71.5%，Claude Haiku 的得分為 75.9%。
-
多模態(tài)推理：GPT-4o mini 在多模態(tài)推理評估 基準(zhǔn) MMMU 上表現(xiàn)出強(qiáng)勁的性能，得分為 59.4%，而 Gemini Flash 為 56.1%，Claude Haiku 為 50.2%。
GPT-4o mini 內(nèi)置了與 GPT-4o 相同的安全緩解措施，OpenAI 根據(jù) Preparedness Framework 和自愿承諾，通過自動和人工評估對其進(jìn)行了仔細(xì)評估。
70 多名社會心理學(xué)和錯誤信息等領(lǐng)域的外部專家對 GPT-4o 進(jìn)行了測試，以確定潛在風(fēng)險，這些問題的解決方法會在即將發(fā)布的 GPT-4o system card 和 Preparedness 記分卡中分享。這些專家評估得出的見解有助于提高 GPT-4o 和 GPT-4o mini 的安全性。
OpenAI 表示，GPT-4o mini 現(xiàn)在可在 Assistant API、Chat Completions API 和 Batch API 中作為文本和視覺模型使用。每 100 萬輸入 token 價格為 15 美分，每 100 萬輸出 token（大約相當(dāng)于一本標(biāo)準(zhǔn)書的 2500 頁）價格為 60 美分。
OpenAI 也計(jì)劃在未來幾天推出 GPT-4o mini 微調(diào)版本。
