09月22日, 2014 93次
近日,除了閱卷便一直在關注IB的電子郵件和官方通知,在IB的3月27日分數等級(grade awarding)給定指引出臺后,聯系了IB的兩位現任和一位前高管,就業內學校和老師的關注問題與IB進行了語音交流,信息匯總如下。
關于校內作業/評估(IA)對分數等級之影響:
Q:一個本占比20%-40%的校內作業/評估,現在重要性大幅度上升,在決定最終的等級時起到極其重要的作用(舉例來說,可能權重甚至上升到了80%?),是否無奈但以此決定最終成績必合理?
A:IA是IB的特色元素之一,也是IB強調學生探究、自主學習和學術誠信的重要部分,它來部分決定考生的最終成績,是合理的。這是IB在此階段能拿到的最能代表學生努力和學術水準的最重要的證據。
Q:有些學校已經提交了IA,有些學校在3月27日獲知IB消息后,可能會對校內作業IA有進一步的修改??紤]到這些學校 1)意識上,對IA之重要性大為提高 2)時間上,比已提交作業/評估之學校多了近一個月的時間準備,IB是否會進行數據分層(stratify the data),確保公平?
A: 事實上,我們已經接收到了不少學校的消息,告訴我們他們會延遲提交IA,進行加工潤色,甚至有的學校已經明確告訴我們,他們在線上教學中不會再教授任何其他的內容,只會專注學生的IA輔助。我不能說這是不誠實的,但是作為學校,應該確保整個過程的公平公正,這對最終IB給出全球認可的分數也是極其重要的。我已將我獲得的這些信息轉至Cardiff評估總部,關于IA提交先后時間對于最終分數的影響是會被考慮在內的。Cardiff總部正在就可能的各種因素對最后成績和等級造成的影響進行復雜的算法計算和模型建立。
我想說,感謝那些已經按時提交IA的學校,也希望那些尚未提交作業的學校在確保學術誠信的原則下盡可能及早提交,這對于考官的閱卷和Cardiff總部進行模型調整是很重要的。
關于校內作業/評估(IA)和(已取消的)校外評估(EA)之關系對最終分數等級之影響:
Q:在過往考評中,我們知道部分學生的校內作業/評估IA可能完成得一般,但是最終的大考準備得充分,成績非常好,最后也有可能拿到7分滿分;當然也有部分校內作業/評估IA完成得很好,但是大考分數不理想的,最后等級有可能被調低。對于考試型選手,亞洲(比如中國內地、香港、日本、韓國)學生在數學、物理等科目校外考試和校內作業IA論文寫作相比一般有更出色的表現,這些不同群體的優勢和歷史情況是否會被考慮在內?
A:我們在香港地區工作了多年,也深知中國內地的學生情況,我們知道中國學生在特定的科目和評估方式中有傳統的優勢,這些在我們歷年的數據庫中都有記錄和分析。我們在歷史上積累的海量數據包括校內作業/評估(IA)和校外評估(EA)的相關性,以及不同學校、不同地區的學生在IA和EA的相關表現?;谶^去的事實和數據,我們會預測如果在(已取消的)校外評估EA正常進行的情況下,本次2020年IB大考校內作業/評估IA和(已取消的)校外評估EA的趨勢與關系,這是必須被考慮在內的。
關于學校預估分(Predicted Grade簡稱PG)對最后IB給出分數等級之影響
Q:在教學和預估分的給定中,作為老師,我們一般比較generous,更期待學生在最后沖刺階段的樂觀表現。我們也知道,老師的預估分和最后IB給出的分數經常出現差異。這次,從3月27日的官方指引中,我們感受到了校內作業/評估IA和學校預估分PG對于最后等級的重大影響,可能會提交一個更為樂觀的預估成績PG。對于IB,會否考慮學校過往的預估分PG和學生最終成績Actual Grade的吻合度,以此來判斷學校本次提供的預估分PG的準確性?
A1: 我們完全理解學校給出PG的各種考量。事實上,IB明白在很大程度上,學校給出的預估分PG和考生最終成績是有一定出入的,所以在過往的50年中,IB真正動用到學校的預估分PG只有一次。(唯一一次,IB極大地考量了學校的預估分PG來給定最終的成績)。希望學校在給出本次PG時,確保分數不要inflated,這對學校的聲譽和IB的聲譽是非常重要的。如果本次IB給出的分數日后在大學那里被證明存在水分,那么過往半世紀積累的口碑將受到影響,這是大家都不希望見到的情況。
A2: 正如在IB官網中的常見問答FAQ所提到的,數據庫顯示55%的學校給定的PG都至少出現了一個等級的偏差(如預估學生7,學生拿到6,或預估學生5,學生最終拿到7),所以IB對于學校給出的PG是采取非常謹慎的、審視的態度的。我們一定會考量學校過往PG給定的精確性accuracy和可靠性reliability,并將此因素納入考生最終的等級評定算法中。對于全新的沒有歷史數據的學校,算法和模型也會考慮相關bian。
關于數據 (vast historical data)對最終分數評定(grade awarding)之影響
Q:取消考試的消息在3月23日晚上首先對考官發布,一個如此重要的決定在周日發布,是否負責而慎重?在IB給考官和學校的信中,我注意到兩個最先并高頻率出現的詞組,即巨大的歷史數據庫vast historical assessment data和重要的數據分析significant data analysis,且IB對于data進行了清晰的分類,即學科歷年數據subject data, 個體學校歷年數據individual school data和已提交IA與尚未提交IA的比較數據comparative data。我想知道在多大的程度上這些數據將對考生最后的成績產生影響,對于那些缺乏數據的新學校,IB會如何考慮?
A:坦率地講,作為IB地區高層,我無法獲知Cardiff將采用的最終算法和統計模型。但是我能告訴大家的是,第一,IB有我們想象不到的、完整的數據庫incredible amount of complete data,Cardiff正在積極地建立各種統計模型,把校外考試納入或者移出這些模型,進行復雜的算法設計?;谶^去十年、十五年、甚至二十年的數據,Cardiff都在設計不同的統計模型,這些模型會將我們能考慮到的甚至沒考慮到的各種變量variables全部納入其中,已期建基在海量完整數據上的模型和算法可以最終給定一個可靠的分數。
第二,我想告訴你的是,事實上在去年12月底和今年1月初,我們就已經關注到了疫情,并收到了武漢的一些學校的反映,IB總部和Cardiff就開始考慮取消考試的可能性及影響,并積極地建立各種算法和模型。所以,取消考試并不是一個突然倉促的決定,從今年初到現在,IB Cardiff的團隊已經嘗試各種算法和模型的設計近4個月了,在所有學校4月20日或之前最終提交IA后,考官還有充足的時間進行閱卷,Cardiff還有近兩個月的時間優化和調整模型。希望Shirley你能幫我盡可能地把此消息傳達至學校和協調員,讓他們不要太擔心。最終分數給定的算法和模型一定會考慮到所有可能的因素和變量。
第三,我知道,如果IB Cardiff團隊對取消校外考試后給出的分數等級沒有信心,他們不會冒險這樣做。他們會寧愿給出pass或fail這樣的結論而非與過往成績具有同等效力、代表IB水準并被大學高校認可的成績。(本次分數給定依然遵循過往的給分慣例:學科1-7等級,核心課程A-E,滿分45分)
第四:請相信IB是非常負責任的,IB一定會給出公平公正的分數。且,如果對成績不滿意,學校和學生可遵循公開透明的程序進行申訴,7月5日成績公布后到考生入學大學前,學校和考生有充足的時間進行申訴。
第五:我親眼見證了幾次Cardiff團隊運用各種模型解決非常復雜的問題,給予學校和學生滿意的答復,我對他們的能力非常有信心。
(以上是我很喜歡的一張圖,也充分地說明了data的重要性。從數據到信息,到知識,到洞見到智慧,再到最后的影響力。希望IB能善用海量的數據,給出公正的分數,強化它的世界影響力)
關于學校、學生和家長的擔憂
Q:IB是否收集了足夠的意見、建議和數據,以期讓最重要的持份者學生、家長和老師對考試取消和最終分數給定盡可能滿意?
A:我們都是學校老師和管理者出身,做到了現在的IB地區管理職位。我們理解學校所經歷的焦慮和困難,完全設身處地為學校尋求解決方案。我正在積極回應手下管理的300多所DP學校訴求,并將這些訴求和建議與總部及時溝通。
我完全了解并尊重中國內地、香港和亞洲地區學生對自己的高期待,為考試付出的心血,也完全感受到學生、家長和老師的失望情緒。此時,我們應該更應該互相關懷、鼓勵,并期待最后的美好結果。
同時,請各位老師和協調員一定要時時關注IBO官網FAQ的更新信息,與IB充分溝通。
注:Disclaimer:
1)以上信息來源于與現、前IB高管的語音交流,關于最后成績給定的模型和算法細節IB Cardiff負責,且Cardiff很可能不會公布他們最終采用的算法和模型。
2)此文章目的僅在與同行真誠交流新近獲取的一些信息和想法。
特別感謝IB管理者、考官、老師的支持。