《商务英语》试题信效度分析

《商务英语》试题信效度分析

一、“商贸英语”试题的信度与效度分析(论文文献综述)

严明[1](2012)在《基于体裁的商务英语话语能力研究:构念界定与测试开发》文中提出全国有600多所院校设立了商务英语专业或在英语专业中开设了商务英语方向,截至2012年,教育部已正式批准62所高校设立商务英语本科专业。商务英语测试开发和效度研究对于保证专业教学的有效性,改进专业教学质量和提高学生语言能力具有积极的意义。由于起步较晚,国内商务英语专业测试开发尚处在起步阶段,缺乏系统完善的商务英语能力考核体系。商务英语测试开发的首要问题是,定义所要测量的语言能力,这是测试开发的理论基础。为了使测试能够更好地服务于专业英语教学,测试开发者必须保证所开发测试的效度。正是在上述背景下,本文选择商务英语测试开发这一课题,重点探讨商务英语话语能力的构念界定和测试开发。本论文主要有三个目的:一、通过对语言教学与测试理论的梳理,提出“基于体裁的商务英语话语能力”构念。二、围绕拟测构念“基于体裁的商务英语话语能力”,开发和设计标准化学业测试——商务英语专业八级考试(TBEM-8)。三、提出社会认知视域中的整体效验模式,对所开发的测试进行效度研究。根据以上研究目的,本论文围绕商务英语专业八级考试的开发和设计研究以下内容:第一,测试构念的界定。本论文在文献分析的基础上,从话语共同体与实践共同体出发,构建商务英语话语研究的框架,并在该框架的指导下详细研究了商务英语专业的体裁谱系及各个体裁的特征。基于各种商务英语专业体裁,界定“基于体裁的商务英语话语能力”构念,从文本知识、语用知识、体裁知识、话题知识、情境组织能力五个方面具体化。“基于体裁的商务英语话语能力”是指商务英语专业毕业生应具有扎实的英语语言基础和熟练的综合语言应用能力,同时具有较高的专业思维、宽阔的国际视野和较强的国际商务话语能力,能够在专业培养的学术英语及职业英语领域内,即在特定商务英语话语研究及国际商务活动领域内,参照应用语言学研究共同体及国际商务实践的规则与惯例,结合特定交际任务的语境因素,运用情境组织能力及文本、体裁和语用知识,结合自身素质,通过专业体裁的建构、解释和使用,进行意义协商,有效完成书面和口头交际任务的跨文化沟通能力。第二,测试开发和设计。为了保证所开发测试的科学性和可行性,本论文参考与借鉴美国教育考试服务(ETS)和英国剑桥大学ESOL考试中心等着名语言能力评估机构的研究成果,提出商务英语专业八级考试开发的设计原则和开发流程。商务英语专业八级考试的设计目标是,能够科学地反映考生”基于体裁的商务英语话语能力”,以保障专业教学的质量,为社会培养合格的商务英语人才。考试开发遵循以下几个原则:明确考查的知识和能力范围;确保测试任务的真实性和代表性;确保考试的信度和效度;确保对商务英语专业教学的正向反拨作用。第三,测试的效度验证。商务英语专业八级考试是专业教学的重要环节,而考试效度的检验和提高则是保证考试有效性的重要问题。本论文提出社会认知视域中的整体效验模式,基于效度整体观(Messick,1989)和社会认知效验模式(Weir,2005),结合考试流程,从考试构念、考试内容、效标关联、评分结果和考试后效这五个方面收集证据,检验TBEM-8是否能够有效地测量所界定的目标构念。构念效度研究的对象是五所大学参加TBEM-8范型试卷考试的341名考生。分数数据分析包括测试内部一致性分析和测试构念的探索性因子分析;作文文本分析重点考察考生作文的语篇特征;定性研究通过口述报告揭示考生的写作过程。研究结果发现:就题目的测量学属性而言,TBEM-8各分测试与总分之间有较强的相关,表明测试题目具有同质性;而分测试之间的相关程度中等,表明它们分别测量了构念的不同方面。测试的维度方面,因子分析能够提取三个公共因子,即听力能力、阅读能力和体裁能力。这说明TBEM-8与测试构念模型的拟合程度较好。口述报告的分析显示,高分组考生在写作过程中体现了测试开发者所预期的行为,其写作行为与写作测试所要考核的技能基本吻合。这些证据总体上说明,TBEM-8能够检测构念相关能力,具有比较好的构念效度。内容效度研究通过问卷调查,收集六位专家对于TBEM-8测试内容合适性和代表性的评定意见,接着采用统计分析方法计算内容效度指数和测试任务关联度。研究结果表明,TBEM-8具有较好的内容效度,测试题目能够合理地反映考试大纲规定的测量内容范围。效标关联效度研究选取学生的专业课平均成绩、任课教师对学生英语能力的排序和剑桥商务英语考试(高级)成绩作为TBEM-8的效标,研究对象为商务英语专业2008级的163名学生。研究结果发现:TBEM-8成绩能够反映学生真实的商务英语话语能力,考试具有良好的效标关联效度。评分效度研究重点考察翻译和写作测试评分结果的可靠性。参加实验的对象为担任TBEM-8翻译和写作评分任务的八名评分员。统计结果表明,评分员间的相关系数在0.80以上,配对样本T检验显示不同评分员的评分结果无显着差异。由此可以得出结论:TBEM-8翻译和写作测试具有较高的评分效度,评分结果是可靠有效的。后效效度研究通过问卷调查和访谈的方法,分析TBEM-8对商务英语专业教学和学习的反拨作用。341名学生参加了TBEM-8范型试卷考试并填写了“考试后效学生调查问卷”,共收回有效问卷318份。访谈对象为商务英语专业的15名在职教师。问卷和访谈结果表明:学生和教师认为,TBEM-8将对商务英语专业教学与学习具有良好的反拨作用,考试的实施能够强化和促进教学目标的实现,考试结果可以为教学与学习提供有价值的反馈信息。本论文由八章构成。第一章是引言,主要对所研究问题的背景、目的和意义进行介绍。本章概述了商务英语专业教学和测试理论与实践的发展历程,指出商务英语测试开发和效度研究具有现实的必要性。需要对商务英语测试进行深入的研究,使其能够客观准确地测量教与学的实际水平,对教学起到正向反拨作用。第二章是文献综述部分,目的是为本研究提供理论基础和方法依据。本章对语言能力有关理论进行了较为广泛的评述;对效度、构念、构念效度、效度验证等概念进行了讨论;对国内外语言测试实践进行了简要回顾,探讨这些测试的成功经验对商务英语测试开发和设计的启示。第三章介绍了研究的设计和采用的分析方法,具体包括本研究的整体设计思路、商务英语专业八级考试的开发流程和考试效度验证的研究框架。第四章和第五章是本研究设计与实施的理论基础。第四章对商务英语话语共同体、商务英语专业体裁研究和基于体裁的商务英语专业话语实践展开深入讨论。在此基础上,第五章提出“基于体裁的商务英语话语能力”构念框架。第六章介绍了商务英语专业八级考试的设计和开发过程,详细描述了从测试设计、操作到实施这三个阶段的各主要环节。第七章描述了商务英语专业八级考试的效度验证过程。效验研究基于效度整体观,以构念效度为核心,从内容效度、构念效度、效标关联效度、评分效度和后效效度五个方面收集和分析效度证据。第八章是结论部分,总结了本研究所得到的发现及获得的结论,对使用的研究方法和过程进行了评述。本章还指出了本研究对于商务英语测试的贡献和不足之处,并提出了与本研究相联系的未来研究方向和思路。

郑书娴[2](2010)在《一般能力倾向成套测验(GATB)在大学生中的应用研究》文中研究指明一般能力倾向成套测验(General Aptitude Test Battery,简称GATB)是美国劳工部编制,分析归纳确定了9种与职业关系密切并有代表性的能力因素,主要用于人才选拔与安置。本研究以386名在校大学生为被试,团体施测GATB,旨在了解GATB的信度、效度及其在国内大学生群体中的适用性,考察我国大学生能力倾向现状,及其与大学生就业状况的关系。研究表明:(1)GATB各分测验重测信度系数为0.634-0.889(p<0.01),信度良好。探索性因素分析共提取三个因子,累计解释变异量为54.983%,这三个因子分别为:认知能力、知觉能力、运动能力。验证性因素分析证明模型拟合较好,表明测验的结构效度较好;(2)大学生组与全国高中生常模组相比,园内打点、记号记入两项分测验的得分并无显着差异;形状相配测验、计算测验、词义测验和句子完成测验这四项分测验上,大学生组的得分显着低于高中生常模组;名称比较测验、图案相配测验、平面图判断测验、立体图判断测验、算术应用测验上这五项分测验测上,大学生组的得分显着高于高中生常模组;(3)不同性别、年级、专业、职业兴趣的大学生,在GATB测验得分上有显着差异;(4)GATB与大学生就业状况密切相关。

刘长缨[3](2002)在《“商贸英语”试题的信度与效度分析》文中研究说明在一套试验题中 ,保持信度与效度平衡是很困难的。本文对 2 0 0 1年度自学考试“商贸英语”试题的信度和效度进行了分析 ,指出该套试题注意力集中在信度上 ,而不是在效度上 ,以及试题中存在的不足之处。

二、“商贸英语”试题的信度与效度分析(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、“商贸英语”试题的信度与效度分析(论文提纲范文)

(1)基于体裁的商务英语话语能力研究:构念界定与测试开发(论文提纲范文)

致谢
摘要
Abstract
第1章 引言
    1.1 研究背景
        1.1.1 商务英语专业教学概述
        1.1.2 商务英语测试概述
        1.1.3 问题与挑战
    1.2 研究目的
    1.3 研究意义
    1.4 论文结构
第2章 文献综述
    2.1 语言能力研究
        2.1.1 “技能+元素”模式
        2.1.2 整体能力假说
        2.1.3 认知语言能力/人际沟通技巧
        2.1.4 Chomsky 关于语言能力的观点
        2.1.5 交际能力研究
        2.1.6 特殊目的语言能力
        2.1.7 职业话语能力
        2.1.8 跨文化交际能力
    2.2 语言能力标准研究
        2.2.1 跨部门语言圆桌量表(ILR)
        2.2.2 美国外语教学委员会(ACTFL)的语言能力分级标准
        2.2.3 加拿大语言量表(CLB)
        2.2.4 欧洲语言测试者协会的能力描述(ALTE)
        2.2.5 欧洲语言共同参考框架(CEFR)的能力描述
        2.2.6 澳大利亚第二语言能力量表(ASLPR)
    2.3 语言测试的效度研究
        2.3.1 构念效度
        2.3.2 效度验证理论
        2.3.3 构念效度的证据
        2.3.4 效验的数据分析方法
    2.4 特殊目的英语测试研究
        2.4.1 ESP 测试的性质
        2.4.2 ESP 测试的专业针对性
        2.4.3 ESP 测试的真实性
        2.4.4 ESP 测试设计和开发
    2.5 语言测试实践
        2.5.1 国内外英语考试
        2.5.2 国际商务英语测试
        2.5.3 对商务英语测试开发的启示
    2.6 语境研究
        2.6.1 社会文化语境研究
        2.6.2 认知语境研究
第3章 研究方法
    3.1 研究的总体构思
        3.1.1 研究对象
        3.1.2 研究方法
        3.1.3 整体设计
    3.2 商务英语专业八级考试开发的设计思路
        3.2.1 TBEM-8 目的和性质
        3.2.2 TBEM-8 设计原则
        3.2.3 TBEM-8 开发流程
    3.3 商务英语专业八级考试效验的设计思路
        3.3.1 效验研究目的
        3.3.2 效验研究内容
        3.3.3 效验研究模式
第4章 基于体裁的商务英语话语研究
    4.1 商务英语话语共同体
        4.1.1 话语共同体
        4.1.2 实践共同体
        4.1.3 商务英语话语观与商务英语专业教育
        4.1.4 应用语言学研究者共同体和国际商务话语实践者共同体
    4.2 体裁研究
        4.2.1 体裁界定
        4.2.2 体裁能力
        4.2.3 Bhatia 体裁研究
    4.3 基于体裁的商务英语专业话语实践
        4.3.1 基于体裁的商务英语话语研究框架
        4.3.2 商务英语专业体裁谱系
        4.3.3 商务英语专业体裁特征研究
第5章 基于体裁的商务英语话语能力
    5.1 基于体裁的商务英语话语能力构念的界定
    5.2 基于体裁的商务英语话语能力构念的构成
        5.2.1 文本知识
        5.2.2 语用知识
        5.2.3 体裁知识
        5.2.4 话题知识
        5.2.5 情境组织能力
第6章 商务英语专业八级考试的开发和设计
    6.1 TBEM-8 任务情境和真实性模型
        6.1.1 TBEM-8 任务情境模型
        6.1.2 TBEM-8 任务真实性模型
    6.2 测试任务特征框架
        6.2.1 情境特征
        6.2.2 测试目的
        6.2.3 指导语
        6.2.4 输入信息
        6.2.5 期待应答
        6.2.6 输入与应答的互动
        6.2.7 评价
    6.3 TBEM-8 测试构念
        6.3.1 听力能力构念
        6.3.2 阅读能力构念
        6.3.3 翻译能力构念
        6.3.4 写作能力构念
    6.4 TBEM-8 测试任务
        6.4.1 话语体裁
        6.4.2 考试题型
    6.5 TBEM-8 评分方案
        6.5.1 评分质量控制
        6.5.2 翻译评分方法
        6.5.3 写作评分方法
    6.6 TBEM-8 考试大纲
        6.6.1 考试概述
        6.6.2 试卷结构
        6.6.3 考核能力
        6.6.4 翻译评分方案
        6.6.5 写作评分方案
    6.7 TBEM-8 试测
        6.7.1 实验设计
        6.7.2 结果和讨论
第7章 商务英语专业八级考试的效度验证
    7.1 目的与思路
    7.2 构念效度研究
        7.2.1 研究问题
        7.2.2 研究方法
        7.2.3 定量研究结果
        7.2.4 定性研究结果
        7.2.5 主要结论
    7.3 内容效度研究
        7.3.1 研究问题
        7.3.2 研究方法
        7.3.3 结果与讨论
        7.3.4 主要结论
    7.4 效标关联效度研究
        7.4.1 研究问题
        7.4.2 研究方法
        7.4.3 结果与讨论
        7.4.4 主要结论
    7.5 评分效度研究
        7.5.1 研究问题
        7.5.2 研究方法
        7.5.3 结果与讨论
        7.5.4 主要结论
    7.6 后效效度研究
        7.6.1 研究问题
        7.6.2 研究方法
        7.6.3 结果与讨论
        7.6.4 主要结论
    7.7 效验研究结果
    7.8 对商务英语专业测试和教学的启示
第8章 结论
    8.1 研究成果
    8.2 研究的局限性
    8.3 未来研究的方向
参考文献
附录
    附录 1:语言能力量表等级描述
    附录 2:国际商务英语测试对比
    附录 3:商务英语专业八级考试大纲
    附录 4: TBEM-8 试卷
    附录 5: TBEM-8 调查问卷
    附录 6: TBEM-8 试测数据
    附录 7:写作过程观察记录表
    附录 8:方差分析数据
    附录 9:写作过程描述
    附录 10: TBEM-8 内容评价问卷
    附录 11: TBEM-8 内容评价问卷统计结果
    附录 12: BEC 高级试卷
    附录 13:考试后效学生调查问卷
    附录 14:考试后效学生调查问卷统计结果

(2)一般能力倾向成套测验(GATB)在大学生中的应用研究(论文提纲范文)

摘要
Abstract
1 引言
2 文献综述
    2.1 能力与能力倾向的定义
        2.1.1 能力的涵义
        2.1.2 能力倾向的涵义
    2.2 能力倾向测验的发展和应用
        2.2.1 能力倾向测验的概念和起源
        2.2.2 能力倾向测验在国外的应用
        2.2.3 能力倾向测验在国内的应用
    2.3 一般能力倾向成套测验(GATB)的研究
        2.3.1 一般能力倾向成套测验(GATB)的起源
        2.3.2 一般能力倾向成套测验(GATB)在国外的应用
        2.3.3 一般能力倾向成套测验(GATB)在国内的应用
3 问题提出与研究意义
    3.1 问题提出
    3.2 理论意义
    3.3 实践意义
4 研究一 一般能力倾向成套测验(GATB)的信、效度检验
    4.1 研究目的
    4.2 研究方法
        4.2.1 研究对象
        4.2.2 研究工具
        4.2.3 研究过程
    4.3 研究结果
        4.3.1 GATB 的信度
        4.3.2 GATB 的效度
    4.4 讨论
5 研究二 大学生一般能力倾向的现状调查
    5.1 研究目的
    5.2 研究方法
        5.2.1 研究对象
        5.2.2 研究工具
    5.3 研究结果
        5.3.1 大学生 GATB 测验得分现状
        5.3.2 男、女大学生在 GATB 测验结果上的差异比较
        5.3.3 不同年级大学生在 GATB 测验结果上的差异比较
        5.3.4 不同专业大学生在 GATB 测验结果上的差异比较
        5.3.5 不同职业兴趣大学生在 GATB 测验结果上的差异比较
    5.4 讨论
        5.4.1 大学生 GATB 测验得分现状分析
        5.4.2 男、女大学生 GATB 测验结果分析
        5.4.3 不同年级大学生 GATB 测验结果分析
        5.4.4 不同专业大学生 GATB 测验结果分析
        5.4.5 不同职业兴趣大学生 GATB 测验结果分析
6 研究三 GATB 与大学生就业状况的比较分析
    6.1 研究目的
    6.2 研究方法
    6.3 研究结果
        6.3.1 大学生就业现状的调查
        6.3.2 GATB 与大学生就业状况的结果比较
    6.4 讨论
        6.4.1 大学生求职现状分析
        6.4.2 GATB 与大学生就业状况的比较分析
7 讨论与建议
    7.1 GATB 的信度与效度
    7.2 大学生一般能力倾向的现状
    7.3 GATB 与大学生就业状况的比较分析
8 结论与展望
    8.1 研究结论
    8.2 不足与展望
参考文献
攻读学位期间本人出版或公开发表的论着、论文
后记

(3)“商贸英语”试题的信度与效度分析(论文提纲范文)

1 题型合理, 题量丰富, 侧重信度的同时, 兼顾了效度
    1.1 信度
        1.1.1 难度适中
        1.1.2 不要有偏颇性
        1.1.3 整套题应属于同一性质
        1.1.4 要有区分度
        1.1.5 试题要适宜于被考的受试群
    1.2 效度
        1.2.1 内在效度
        1.2.2 反拨效度
        1.2.3 实效效度
2 试题中还存在着一些有待改进的地方

四、“商贸英语”试题的信度与效度分析(论文参考文献)

  • [1]基于体裁的商务英语话语能力研究:构念界定与测试开发[D]. 严明. 上海外国语大学, 2012(01)
  • [2]一般能力倾向成套测验(GATB)在大学生中的应用研究[D]. 郑书娴. 苏州大学, 2010(05)
  • [3]“商贸英语”试题的信度与效度分析[J]. 刘长缨. 绵阳经济技术高等专科学校学报, 2002(04)

标签:;  ;  ;  ;  ;  

《商务英语》试题信效度分析
下载Doc文档

猜你喜欢