0
8月2日,lmsys官方在推特發布一則消息,恭喜DeepMind研發的Gemini 1.5 Pro 實驗版 (0801)在Chatbot Arena排名登頂,超越GPT 4o和Claude-3.5奪得第一。
這是繼今年3月Claude 3 “超大杯”Opus版本短暫超越GPT-4以來,OpenAI第二次讓出Chatbot Arena的Overall ranking寶座。

Gemini 1.5 Pro 實驗版 (0801)在Chatbot Arena測試一周后。獲得了超過12,000個社區投票,在Chatbot Arena和Vision Leaderboard排名上均取得了第一名的好成績。之前說GPT-4o有刷分技巧,現在看起來Gemini 1.5 Pro可能也學到了這個技巧呢。

Gemini 1.5 Pro 實驗版(0801)不僅在綜合表現上極為突出,在各個細分領域上也有著出色的表現。它在數學方面排名前三,指令遵循排名前二,編碼排名前五,硬提示(英語)排名前五。
Gemini 1.5 Pro 實驗版(0801)具有強大的多語言能力,在中文、日語、德語、俄語方面均表現第一。
從總體勝率圖上,也能看出Gemini 1.5 Pro 實驗版 (0801)實力強勁,對陣 GPT-4o 的勝率為 54%,對陣 Claude-3.5-Sonnet 的勝率為 59%。

前OpenAI的開發者,現Google AI Studio的產品負責人Logan Kilpatrick火速轉發,向大家宣布Gemini 1.5 Pro 實驗版(0801)目前在 LMSYS 的文本和多模式排名中均位居第一的好消息。

DeepMind的CEO Demis Hassabis也轉發了這條消息,祝賀Gemini 1.5 Pro 實驗版(0801)能夠在極具競爭力的榜單中拿下第一,并且宣布這一版本的已經可以在 AI Studio上進行試用。

帶領研發Gemini的Jeff Dean也隨后轉發,對此次實驗版本的Gemini 1.5 Pro突破1300+elo分數拿下排名第一的好消息感到非常自豪,也很期待未來能看到其他更好的模型。

聽聞這則消息,其他從業人員也紛紛發來祝賀。


也有不少人分享自己的試用體驗。大神elvis對在聊天機器人領域超越了 GPT-4o 和 Claude 3.5 Sonnet的Gemini 1.5 Pro非常感興趣。elvis分享了自己的測試全過程視頻,并總結道,Gemini 1.5 Pro強大的圖像和PDF提取能力給他留下了深刻的印象,Gemini 1.5 Pro有著和GPT-4o不相上下的視覺能力,也有Claude 3.5 Sonnet接近的代碼生成及PDF理解/推理能力。

有人認為Gemini 1.5 Pro在解決高級數學難題方面表現相當不錯。

也有人說Gemini 1.5 Pro在圖像識別植物和動物方面做得確實要比GPT 4o更好。

也有更多的人在期待Gemini 1.5 Pro這一版本的正式上線,希望能夠API實現Gemini 1.5 Pro的實際運用。


大家對Gemini 1.5 Pro這次發布的實驗版本有什么看法,歡迎評論區留言分享~雷峰網雷峰網(公眾號:雷峰網)
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。