2011年9月2日

做IES千萬不要發英文問卷


又收到同學的IES(獨立專題探究)問卷,而且是一份英文問卷。這個暑假教IES時,我已千叮萬囑同學,即使你要交英文報告,也一定不可以發英文問卷(除非你的對像是英美等外國人),而我表明,收到英文問卷,我是一定不會做的。

為甚麼?原因很簡單,一個研究最重要的不是結果,而是整個設計和過程有沒有減少誤差,可信度(reliability)是否高。對於一個設計出現如此重大問題的研究,無謂浪費我時間,反正我知你最後的結果多靚都好,也是不可靠的。如果嚴格而言,單憑這一點疏忽,便應給你一個F了。

只要用常識想想,在香港向人發問問卷,怎可能會用英文?這裏是一個徹徹底底的中文城市,即使推廣雙語,大部分人仍是以中文溝通。向人發問卷,是希望作抽樣調查,但這個抽樣一開始就出現嚴重偏差——英文問卷限定了樣本結構,即只有懂英文甚或英文良好的人才可以做這份問卷,而香港英文好的人其實並不多。這就造做抽樣結構偏差的問題。

其二,就算懂英文的人,很多心理上也抗拒使用英文,只是工作需要而已,故當收到英文問卷時,由於那是義務的,就更加抗拒回答。這就造成回應率偏低的問題。

其三,由於英文不是本地人的母語,即使懂英文,程度也必然參差,對字詞的理解便很易出現誤差。那麼問卷的字眼意義,容易變成人言人殊,那麼這份研究還有甚麼可信之處?

正確的做法,是向香港人發中文問卷,然後在報告中補上翻譯版本,並在研究方法中清楚解釋,在香港只有發中文問卷才會取得可信的資料和高回應率。事實上,考評局的一份樣本報告,也有交英文報告的學生如是做,清楚解釋研究的限制和解決方法,故評分也很高。

可惜,某些英文學校的通識老師,根本不清楚研究的方法論,沒有提醒學生如何處理這個問題,甚或為表現學校的實力或面子問題,強迫學生用英文發問卷,犯了研究大忌而不自知,最終也是害苦學生了。

沒有留言:

張貼留言