首頁 > 科技要聞 > 科技> 正文

國產(chǎn)AI大戰(zhàn)高考物理，第1題全對，第2題開始放飛

量子位 整合編輯：太平洋科技 發(fā)布于：2024-06-11 15:43

高考結(jié)束。陸陸續(xù)續(xù)，文理綜各個(gè)科目的考試題目開始在網(wǎng)上流出，那么語文數(shù)學(xué)之后，也是時(shí)候讓大模型們繼續(xù)來挑戰(zhàn)一波了。

考題方面，先給大模型們來一份遼寧物理——

多解釋一嘴，新高考改革下大部分省份已經(jīng)取消了文理分科，采用3+1+2或3+3的新模式，也就是物理化學(xué)生物現(xiàn)在是拆開考的。

那么閑話少敘，我們有請參賽AI助手——

通義千問、文心一言、Kimi、智譜清言、豆包、海螺AI、騰訊元寶、訊飛星火、天工、百小應(yīng)、萬知、商量。

Round 1：單選題

這份物理卷共有10道選擇題，其中1-7題為單選題，總計(jì)28分。

1、3兩題不涉及圖片解析，人類考官直接把題目扔給了大模型：

圖片題給出的提示詞統(tǒng)一為：查看圖中題目，給出答案。

在看詳細(xì)答案之前，心急的看官們可以先掃一眼“考試”結(jié)果（測試方法比較簡單粗暴，不能完全反映各AI真實(shí)水平，僅圖一樂）：

文心一言、豆包、天工、智譜清言和商量出現(xiàn)了不同程度讀圖失敗的問題，在成功識別的題目中，商量和文心一言的正確率為2/4，豆包、天工、智譜清言正確率為1/2。

接下來，就來看看大模型們的具體表現(xiàn)。

單選題中，準(zhǔn)確率最高的是第一題，一道有關(guān)標(biāo)量矢量的概念題，參賽大模型百分百通過。

到了第二題，大模型們就開始各有各的想法了。題目是：


來看看成功得分的選手們的回答：

通義千問

文心一言

海螺AI

訊飛星火

4位選手中，文心一言和訊飛星火進(jìn)行了逐個(gè)答案的分析，海螺AI則最言簡意賅，只回答了答案沒給過程。

另一道正確率比較高的題，是難度較大的第5題。

但答對這道題的選手名單有所不同，訊飛星火、海螺AI依然在列，另外兩位換成了Kimi和騰訊元寶。

Kimi

騰訊元寶

和海螺AI一樣，騰訊元寶也是惜字如金型（doge）。

另外一個(gè)有意思的現(xiàn)象是，有的大模型選手盡管答案不對，但還挺有考試技巧的。

比如ChatGLM，在面對雙縫干涉實(shí)驗(yàn)中，“哪種說法可以使相鄰兩條亮紋中央間距變小”這個(gè)問題時(shí)，它一通分析覺得答案全錯(cuò)，但還是退而求其次挑了一個(gè)看上去相對正確的答案。

Round 2：多選題

再來看看多選題（18分）的情況。

p.s. 在多選題作答過程中，人類考官在提示詞中提醒了選手們這是“多選題”。

根據(jù)多選題判卷規(guī)則，全部選對得滿分，部分選對得一半分，有選錯(cuò)不得分，表現(xiàn)最佳的是海螺AI（2道題全對，1道題部分對），其次是通義千問、文心一言和萬知（1道題全對，2道題部分對）。

和單選題的情況類似，大模型們正確率最高的第8題是一道概念題：

X射線光電子能譜儀是利用X光照射材料表面激發(fā)出光電子，并對光電子進(jìn)行分析的科研儀器，用某一頻率的X光照射某金屬表面，逸出了光電子，若增加此X光的強(qiáng)度，則
A. 該金屬的逸出功增大
B. X光的光子能量不變
C. 逸出的光電子最大初動(dòng)能增大
D. 單位時(shí)間逸出的光電子增多

第9題有兩位選手選中了全部正確選項(xiàng)：海螺AI和萬知。

來看看萬知的具體回答：

今日份的測試，就先到這里，你覺得大模型們的表現(xiàn)如何？至少在這份物理卷子46分的選擇題里，還是有不少選手能拿到及格分了。

本文來源：量子位
量子位

網(wǎng)友評論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
    • 二維碼 回到頂部