發(fā)布時間:2020-04-21 14:33:25來源:魔方格
其實電腦評分這個概念,很早就已經(jīng)運用于寫作考試中,這并非什么新興產(chǎn)物。自從2010年1月開始,iBT 的寫作評分系統(tǒng)就進行了調(diào)整。由原來的2個評分員評分,取算術(shù)平均分作為 raw score 原始分,改為1個評分員和1個電腦評分系統(tǒng)(e-Rater)評分,取算術(shù)平均分作為原始分的方式。
盡管之后也有很多出題機構(gòu)也學(xué)習(xí)了這種評分方式,但是最終都因為評分效果不理想而最終放棄,這也正是很多人猜測 ETS 現(xiàn)今的考試中是否還繼續(xù)使用電腦評分的原因所在。
一方面,我們之前對于電腦評分的認識并不夠全面,總是覺得僅僅是利用一些具有糾錯功能的軟件來進行評分。而真正意義上的 e-Rater 更像是一個基于強大數(shù)據(jù)系統(tǒng)支持的一個運算系統(tǒng),它能夠?qū)⑤斎氲奈恼聝?nèi)容和數(shù)據(jù)庫里面的內(nèi)容進行比照式批閱,這樣就極大地增強了閱卷評分的靈活度和廣泛度。
而 ETS 作為全球的測試服務(wù)機構(gòu),他有著得天獨厚的優(yōu)勢,那就是它每年都能夠積累大量的文章數(shù)據(jù),而且能夠不斷進行更新迭代,這能使得他的電腦評分系統(tǒng)的智能化不斷地提升。相比而言,其他測試機構(gòu)的電腦評分系統(tǒng)卻虛有其表,沒有大量數(shù)據(jù)內(nèi)核作為支持,所以自然無法得到一個理想的評分效果。
另一方面,電腦評分有著它獨特的優(yōu)勢,那就是具備足夠的客觀性。它不存在閱卷的疲憊度,永遠能夠關(guān)注每一個評分標準,考慮到文章中的每一個細節(jié)和每一個特征;它沒有情緒,所以也就不存在主觀印象,對于同一篇文章永遠只會給出一個不變的分數(shù);它能對于每一篇文章所給出的分數(shù)都能給出具體的解釋,這是人為評分無法做到的。
電腦評分是否會計入真實成績?
對于托福考試而言,關(guān)于語言輸出部分的口語和寫作兩個項目都會涉及到電腦評分,而且評分結(jié)果是計入到真實成績的。只不過算分方法并不是機械地將評分員評分和電腦評分進行求平均計算。我們其實可以更形象地把他們理解成為分工協(xié)作,聯(lián)合判分。
首先,E-Rater 負責(zé) Linguistic 的部分,關(guān)注的是文章的邏輯、語法、用法、架構(gòu)、詞匯等要素,而人工負責(zé)內(nèi)容和含義的理解,他們在評分目標上各有分工。
其次,閱卷人和電腦是獨立判分,他們彼此看不到對方的分數(shù)。當兩者的分差介于動態(tài)區(qū)間值時分數(shù)有效,判分結(jié)束;當兩者的分差大于動態(tài)區(qū)間值時,人工評分和電腦評分均無效,將會引入新的判分組進行重新評分。如果仍然判分無效,將會指定給 ETS 官方閱卷人主管直接判分,但這種情況很少出現(xiàn)。