首 页

实验动态

在线问答实录

实验论文

在线问答

实验计划 | 实验交流 | 信息反馈 | 社长答疑 | 海外来鸿 | 相关资料 | 书刊介绍
热点文章
 
  您现在的位置: 英语“四位一体”教育教学网 >> 实验通讯 >> 第二十一辑 供高中实验用 >> 报刊选读 >> 正文  
 
  我国中小学外语教学实验研究质量调查报告  
作者:FroG 点击数: 更新时间:2006-5-25
华南师范大学外文学院  陈诗颖

[摘 要]:本文通过对五年来在我国基础英语教学杂志《中小学英语教学与研究》和《中小学外语教学》发表的28篇实验报告进行质量调查,结果发现:1)这些调查报告大多数未能完全提供实验研究中的关键信息,如理论框架、研究假设、实验方案、实验步骤等;2)我国中小学英语实验的内部效度和外部效度相当低。关键信息的缺损降低了研究结果的有效性,从而削弱了实验作为检验理论正确性的重要手段的作用。导致上述结果的原因是:1)多数研究者对实验的科学性和严谨性缺乏必要的认识,实验的操纵与控制的现状令人担忧;2)不少研究者对实验研究的重复和推广的重要性认识不足。

[关键词]:实验报告;质量调查;规范性

一、引言

随着语言学和外语教学研究的发展和进步,语言学的研究方法日渐成为我国学术界和教育界一个讨论的焦点,许多学者(桂诗春、宁春岩,1997;高一虹等,1999)经过对我国外语教学实验的调查研究指出,“我国应用语言学方法的建设需要大力进行材料性研究方法的‘扫盲’,在普及量化方法的同时加强质化方法的介绍”。高校中近年来实验设计已经相当严密和规范化(高一虹,1999),但中小学实验性的研究情况仍不尽人意,缺乏坚实的理论作基础,为了更清楚地了解我国中小学英语教学实验性研究的现状,并指导今后的研究工作,笔者做了一项调查研究。在有关论文质量调查的研究中,对基础英语教学研究的质量的调查与指导寥寥无几,然而在我国,中小学在英语学习者中占绝大多数,中小学英语教学是引导学生入门的关键所在,如果不注意对基础教育的研究,教学方法不适宜,就容易挫伤学生的积极性,对以后的进一步学习不利,所以,对基础英语教学实证研究规范化的调查研究意义重大。

二、理论的阐述及评价的标准

(一)要做这方面的研究,首先必须弄明白两个关键的问题:

1)什么是实验研究?

Paivio和Begg(1981)寥寥几笔就概括了实验性方法的理论基础:实验是对自然有控制的观察。实验者设定了某种情形、当中任务的框架、所研究行为的实质,提出来的问题都是清晰明确的(Cook,1986:13)。Cook认为,实验方法是一种“力求确定学习者的相关背景,提出明确的问题,控制环境以通过适当的方式收集数据或考虑限制环境的各种因素,用客观的可测量的证据来支持所提出的观点,并通过实验得出更广泛的结论”的研究方法。

2)对实验研究质量评价的基本标准是什么?也即一个好的实验研究应该具备什么特点。

一般来说,一篇实验报告应包括以下的相关信息,即研究课题、对相关文献的综述、具体的研究问题、研究假设、研究方案、实验步骤、统计分析方法及检验假设、对调查结果的讨论或解释。作为一篇完整的实验研究报告,以上各组成部分构成了实验研究的最基本信息,也构成了考察一篇实验研究质量的评价基本标准。

尽管理论上实验研究报告必须包括上面提到的各组成部分,但由于研究课题立论基础的坚实程度各有不同,研究者的语言表达能力各有差异,再加上杂志对文章的篇幅加以限制,使得现实中的实验研究报告不一定能包括本应提供的所有信息,即便如此,从论文的规范性角度来说,研究者也应该给予说明,这有利于实验的推广和重复,提高它的外部效度。在本次调查中,凡是没有对欠缺的信息项目给予指出说明的,按照缺乏该项信息统计。

(二)本次取样的范围与研究方法

1)华东师范大学主编的《中小学英语教学与研究》和北京师范大学主编的《中小学外语教学》。取材时间从1997年第1期——2001年第12期;根据上述的标准,笔者对1997年至2001年期间发表在以上两种杂志的1083篇论文进行逐一鉴别,最后确定其中共有28篇属于实验研究。有关这些研究报告的作者、标题、刊登杂志、刊登时间等细节,请见文后的附录。

2)本次评价的过程将由以下步骤组成:

a)论文的格式书写是否规范,即考察研究是否提供了研究各组成部分的相关信息:研究课题,具体的研究目标,提出假设,设计方案,实验步骤,统计分析,结果及对它的解释;

b)从实验的内部效度和外部效度出发,即所需的能提高效度的相关信息的提供:受试的选择是否随机化,是否有前测和后测,是否设置了对照组,数据处理是否采用了检验手段,是否对无关变量进行了控制,实验结果是否推广且有效。

三、调查结果及分析

1)论文各组成部分的相关信息是否齐全

外语教学实验报告的撰写有一定的规格。综合有关专家(何广铿,2002;Nunan,1992)的意见,本文提出一种比较规范的实验报告撰写模式:

(1)研究课题的提出;

(2)文献的综述;

(3)实验目的和假设;

(4)实验步骤或实验设计方案;

(5)实验步骤的阐述;

(6)统计分析;

(7)实验结果或发现;

(8)对实验结果的讨论和结论;

(9)参考文献和附录。

但是,本次调查的结果令人相当不满意,考察结果如表1所示:

表1.实验报告应包含相关信息的调查结果(N=28)

说明:表中的数字为未能提高该信息点的文章数量,百分比为未能提供文章数量与实验报告总篇数的比例。

以上调查结果显示:

① 这些调查报告大多数没有完全提供实验研究所要求的信息,其中最明显的是绝大部分的报告(89.3%)没有提出假设,其次46.4%的研究者没有相关的文献综述,没有说明实验的理论依据。另外还有28.6%的报告没有描述实验结果及对它的解释。

②在所调查的28篇实验报告中,仅有3项(占10.7%)提出了实验假设,尽管有些实验的假设还不完善。而有25项实验(占89.3%)没有提出实验假设。

可见,我国的中小学英语基础教学研究缺乏必要的理论指导,尤其是本学科的教学理论指导。这说明,我国绝大部分中小学英语教学实验并不是建立在一定的理论基础和科学的实验假设之上,而是凭实验者的一时热情或是凭实验者对教学中存在的某些具体教学问题的主观认识,常带盲目性而进行的实验。这样的实验,其科学性如何就可想而知,更不用谈对科学理论的验证和发展了,本身缺乏科学性,那其普及性也不会合理。

实验报告中不规范的一个主要问题就是文献和附件的欠缺,附录部分是正文部分提到过的附件,如实验前、后的学生成绩的详细记录,问卷调查的问卷内容等。这些附件是正文数据的详细来源,它们能为读者提供更详尽的信息,并与正文配合给读者一个完整的报告。参考文献能为读者提供一个详细的信息来源,使读者明了作者在写报告时参考过的文献。这些内容的欠缺既给读者造成困难,也给实验的重复和推广增加了困难。

2)实验报告的内部效度和外部效度

美国教育家坎贝尔(Donald T Campbell)提出内部效度和外部效度两个概念。教育实验的内部效度就是实验样本结论的真实性程度,或者说教育实验的内部效度是研究实验的自变量与因变量之间的因果关系是否真实以及真实的程度,当能够证明一项实验的结果是由于刺激变量引起,而不是由于其他的外部变量引起时,我们就可以说这项实验有一定的内部效度。一般来说,实验的内部效度越高,实验本身的科学性就越强,实验结果的精确度也越高。

教育实验的外部效度是指实验总体结论的真实性程度,即实验的样本结论推广到特定范围的总体时的有效性程度。外部效度越高,实验结果的推广价值就越大。缺乏外部效度,那么这项实验就将失去其实用价值和普遍意义。

一般来说,影响外语教学实验内部效度的因素有:受试的选择、测试(前测和后测)、对照组的设置、数据的处理、无关变量的控制等。

本次调查的结果如表2所示:

表2.实验报告的内部效度和外部效度评估表(I)

实验报告的内部效度和外部效度评估表(II)

以上的调查结果表明:

①采用随机抽样的方法来选择和确定实验对象的仅有6项(占21.4%),而不是按随机抽样方法确定实验对象的有11项之多(占39.3%),还有11项实验(占39.3%)实验对象的选择和确定方法不甚明确。可见,我国已有的中小学英语教学实验,其实验样本的代表性并不强。这样很容易令读者产生一些疑问:是否选定的受试对象优于其他学校?受试对象水平是否在同一起跑线上?否则,实验结果的信度就很难得到保证。受试对象有着许多不平衡的因素,很容易影响实验结果,必须引起实验者的充分注意。若客观条件限制,不能随机抽样,可通过平衡对照组和实验组的水平,从而控制影响内部因素。

虽然随机化在中小学英语教学中存在着一定的困难,但我们可以考虑借鉴有经验教师的做法:

a)利用初、高中入学的时机进行随机分组;

b)利用小组课外辅导活动随机抽样;

c)利用高三应试指导阶段的教学实际随机抽样分组。

影响实验信度和效度的因素很多,其中之一就是实验组与控制组的对等,然而在实验的实际操作中,很难找出两组完全相同的实验对象。因此,对实验对象进行随机抽样组成实验组和控制组就成为解决问题的有效策略。随机抽样可以在一定程度上避免实验参与者的偏离,避免前测效应,排除实验对象等因素对实验效度的影响,有利于实验的重复和推广。

②有对照组的实验有19项(占67.9%),无对照组的实验有7项(占25%),无法确定的有2项,这说明我国的英语教学实验研究者或实施者对控制组的设置及其意义还没有给予足够的重视。为了保证实验具有较高的内部效度和外部效度,在实验的初始阶段,一定要尽可能使实验组和控制组在智力、外语学习基础、外语学习环境等方面没有明显的差异,只有这样才能明确因变量的变化是否受诸如取样偏差等由于实验对象本身而造成的干扰和影响。

③有前测的有16项(占57.1%),没有进行前测的有6项(占21.4%)。在英语教改实验中,很多实验组和控制组都是由自然班组成,在这种情况下,为了控制实验对象的变量,我们也应该在实验前给实验对象一个实验前的测试,并对测试的结果进行Z或T检验。只有在确保他们的英语水平没有显著性差别的前提下,才进行实验(即保证它们实验前英语水准在统一水准),这有利于我们对实验对象的变量进行控制,只有这样才能明确因变量的变化是否受各种无关因素由于实验对象本身而造成。虽然大部分的实验(22例)有后测,但前测的欠缺使结果无法令人信服,一个没有设置对照组,没有前测和后测的实验其实不能称作是实验。在测试手段、标准甚至类型根本不同的情况下,前测与后测就失去了可比性。更无法说明自变量是否引起了因变量,如前测运用的是速度测试(speed test),而后测却运用的是能力测试(power test),那么前测结果和后测结果就无法加以比较。此外,对前测和后测评分标准的不同要求也会影响测试的稳定性,教育实验中如果前测和后测的评分都是由实验者本人来完成,那实验者很可能(有意识和无意识的)渗入主观因素,因为实验者总有一种希望自己的实验有所成效的心理。

另外有一种情况应该引起我们的重视,有些实验虽然使用了自然班作为实验组,但都没有对实验组的智力、外语学习基础等特征作出必要描述。特别是在有控制组的实验中,没有指出实验组和控制组有无差别,从而大大降低实验结果的可信程度,也降低了实验的内部效度和外部效度。

可见,选择受试方法不科学,对实验对象描述不够明确,对实验对象控制不够严谨,是造成我国中小学英语教学实验缺乏内部效度和外部效度的重要原因之一。

④实验数据处理和分析是实验研究的重要内容之一。无论何种实验设计,实验者都会得到一些数据,实验者应该对这些数据进行认真的分析,因为对不同的实验对象实施实验变量,其实验的结果肯定会有差异,但这些差异究竟是因实验条件的不同造成的,还是因一些随机因素偶尔造成的呢?如果是由前者造成的,则是本质的差异,应予以重视;如果是由后者造成的,差异则可以忽略不计,实验数据分析的基本思路是根据无差别原理(即假设实验组和控制组无差别),运用统计学的方法去检验实验所得的数据,根据计算出来的实验数据有两种检验方法,即适用于小样本(30以下)的T检验和适用大样本(30以上)的Z检验。

在本次调查中,我们发现只有2例实验对实验数据进行了T检验,笔者将其他的26例视为无数据处理,虽然他们中大部分都有填满数字的表格,所采用的数据大部分也仅仅是简单列举实验组测试分数的平均分,但这些数据大多只是平均分、及格率的原始比较,尽管这些数据表面上是有差异的,但这些差异并不能充分说明变量间的因果关系,也不能论证实验的真实性和可信度,大大降低了实验的效度和信度。

虽然从这些平均分数来看,每个实验似乎都提高了学生的英语学习成绩,但是仅有对一组实验对象两次测试的平均分数,并不能说明哪一次测试成绩好于哪一次,因为没有试题信度、效度及测试分数的标准差等最基本的测试统计数据,两次测试分数就失去了可比性。

在这些实验中,大多数没有科学的统计检验手段去验证或否决实验假设,其中大多数仅列举实验组和对照组的英语测试成绩的平均分数。28项实验中很大一部分(25项,占89.3%)根本就没有明确的实验假设,更说不上去验证或否决实验假设。28项实验中采用了一种或几种统计检验的实验者只有2项。可见,测试手段欠科学性和严密性,统计检验手段不完善,是造成效度低的重要原因之一。

⑤12项实验(42.9%)对无关变量不作控制,6项没有明确地提出是否对无关变量进行控制,读者很容易对实验结果质疑。为了保证实验的科学性和严谨性,实验者在实验过程中应对影响实验观察的因素加以控制,把它们对自变量和因变量的内在影响降到最低程度。

⑥实验得到推广的仅有2项,占7.1%,而没有推广和无法确定的有26项(占92.9%),这说明大部分的中小学英语教师没有认识到推广实验结果的必要性和重要性。

⑦列出参考文献有两个目的:一是表示对参考书作者的尊重与感谢;二是表明文中某些观点并不是自己的,而是借用某学者的,须标示出处。另外有利于实验的重复和推广,提高实验的外部效度。在本次调查中,没有列出参考文献的达到22例(占78.6%),可见,论文的书写规范化仍然有待提高。

从以上的分析可见,我国中小学英语教学实验缺乏内部效度和外部效度。

四、小结

在对《中小学外语教学》和《中小学英语教学与研究》 1997-2001年发表的1083篇论文中,发现仅仅有28篇采用了实验性的研究方法。实验研究是一项科学性的研究方法,由于我国长期以来较为注重思辨性的研究,故实验性的研究一直是一个较为薄弱的环节,在受试的选择、变量的控制、实验对照组的设置以及结果的分析方面都存在很大的问题。其中实验的科学性和规范性仍然存在不少有待改进的地方:

(1)论文书写不规范,没有遵循实验研究的原则程序。从文献评述、选择研究课题、提出假设、设置控制组和对照组、实验结果、分析实验数据来看,不够科学性和严密性,严格来说,不能称之为科学实验,给实验的重复和推广造成困难。

(2)我国中小学外语实验的外部效度和内部效度都不高。实验不遵循科学实验的严密性,操作的不规范造成中小学英语教学实验这一科学研究活动失去了可能性。尽管作者宣称做了一次实验,但在很大程度上只是对某些新教法的一次记录而已。

针对以上问题,笔者提出建议:

(1)提高中小学教学的外语教学理论水平。

(2)学习和掌握教育统计学基本知识。在师范院校可开设教育统计学课程或加强对中小学老师教学科研意识培养的在职培训。

 
文章录入:    责任编辑:frog 
  • 上一篇文章:

  • 下一篇文章: 没有了
  • 发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
     
     
    Copyright © 2005-2011 英语“四位一体”教学网