面向各类资格考试运营团体,教学机构,教育服务公司等考试相关机构,提供考试分析服务,协助客户把握其实施考试的性质,正确测评考生的能力。
- 试题难度是否在合理范围内。试题数量是否合理。
- 选项是否有效。每道试题能否区分出能力的高低。
- 及格线设定和等级划分是否合理。
- 能否把握与前次考试的可比性及持续的考生成绩变化。
- 考生的社会属性及能力分组情况与考试得分之间是怎样的关系呢?
项目分析 运用传统考试理论的分析
输出指标名称 | 指标的解释 |
---|---|
回答正确率 | 应试样本中的试题难度 |
点二列相关 | 该试题能多大程度地区分能力的高低 |
二列相关 | 假设试题和考试得分按照二变量正态分布时的相关性 |
选项选择率 | 选项的选择情况、有效状况 |
实质选项率 | 从考试结果得出的实质性的选项量 |
基本统计量 | 基本的考试统计信息 |
信度系数 | 反映考试得分可信赖程度的指标 |
标准误差 | 假设某考生反复接受同一考试时得分的标准偏差 |
GP分析表 | 反映每个考生能力水平下的试题选项是否有效的图表 |
运用IRT的分析
输出指标名称 | 指标的解释 |
---|---|
a参数 | 反映敏感地识别b值附近能力集团程度的指标 |
b参数 | 该试题的难度 |
c参数 | 反映猜对答案可能性的指标 |
a标准误差 | 假设反复进行数据收集和计算时的a值的标准误差 |
b标准误差 | 假设反复进行数据收集和计算时的b值的标准误差 |
c标准误差 | 假设反复进行数据收集和计算时的c值的标准误差 |
chi-square | 从模型得到的正确率与从数据得出的正确率之间的背离度 |
df | 自由度(计算χ平方值时所使用的能力值类型数量) |
p | 假设模型与数据相等时该数据的出现频率 |
基本统计量 | 平均值、中间值、标准偏差、方差、范围、最小值、最大值、样本数 |
考试特征曲线 | 能力值和考试得分的对应曲线图 |
考试信息曲线 | 各能力值的可靠性程度的曲线图 |
运用IRT的分析 -等化-
输出指标名称 | 指标的解释 |
---|---|
等化后参数 | 转换为同一尺度后的a,b,c参数 |
考试特征曲线 | 反映等化后各能力值下的考试得分的期望值的曲线图 |
考试信息曲线 | 反映等化后各能力值下的考试信息量的曲线图 |
- ※必要的数据・・・等化时定锚试题的数量至少占20%左右。
(定锚试题:分别实施的试卷中相同的试题)
医师国家考试模拟考试分析 |
|
---|---|
资产运用相关技能考试分析 |
|
新型录用考试 |
|
医学CBT |
|
庆应义塾大学 |
|
熊本大学 |
|
早稻田大学 |
|
为开发新的资格考试、现有考试的计算机化等提供考试开发业务的专业咨询服务。
希望开发新的资格考试
- 考试样题的设计
- 题库的设计及运用
- 考试的设计及开发
- 考试实施的相关咨询
希望提高现有资格考试的质量
- 现有考试试题质量的分析
- 现有考试难度及分数线的等化
- 试题编写方法(错误选项等)的相关咨询
- 考试结束后反馈方式的相关咨询
希望将现有考试计算机化(CBT)
- CBT相关的考试设计及开发
- CBT开发相关的考试样题的设计
- CBT开发相关的题库设计及运用
- 提供CAT(适应性考试)模块
- ※CAT模块现在正在申请专利。
早稻田大学International株式会社
早稻田大学International株式会社开设了一个旨在培养学生英语交流能力的讲座“Tutorial English”。该讲座作为早稻田开放教学中心里所有系共通的公开课,其宗旨是培养学生的英语演讲能力,促使学生们能够“用英语讨论问题”。课堂中,在被称为“Tutor”的老师的指导下,学生们按照水平被分为几个小组,接受彻底的交流能力训练。在该项目中,本公司接受委托研发了定位考试“WeTEC”以及选课前的水平考试“WeTECmini”。委托要求具体如下。
- 关于选课前的水平考试,由于大量学生在短时间内参加考试,所以希望考试时间短,并尽可能准确地反映其水平。
- 由于英语定位考试的结果将作为学生们合理分组(每组4名学生)的指标,分组情况将直接影响教学效果,因此希望考试尽可能具有较高的信度。
由于“Tutorial English” 讲座承认学分,报名人数每年都在增加。如果采用满足上述要求的纸质试卷,考试的实施和评分将花费大量时间和精力,不切实际。本公司为了充分满足客户需求,提出了以下方案。
- 采用计算机考试(CBT化)是为了简化考试实施及评分过程。
- 采用“适应性考试”(CAT化)是为了在更短时间内获得可信赖的考试结果。
研发工作始于2003年夏季。以早稻田大学开放教学中心英语教育部门负责人中野美知老师(教育系教授)为中心编写出考试项目,事先实施模拟考试。本公司就模拟考试结果进行项目分析及IRT分析后,对每一个考试试题设定了参数,开发出加载这些参数的CAT系统,上传到早稻田大学服务器中。
该考试自2004年春季实施以来,已有约1万名学生参加考试。现在,早稻田大学International株式会社仍在使用这套系统。(应试人数8600名:截止2004年9月)
相关URL:http://www.wui.co.jp/
凸版印刷
凸版印刷株式会社E商务事业部自2004年3月起开始面向手机用户提供英检学习网站“最短时间!英检合格”。2004年3月起在I mode,EZ-web上线,7月起在Vodafone上线。该网站主要面向初高中生提供试题、学习资料以及相关信息。每月服务费为315日元。
“最短时间!英检合格”网站在试题部分中采用CAT(适应性考试),能够在短时间内正确测试出英语能力,并根据考试结果量体裁衣地提供英检单词短语库,帮助实现高效记忆。此外,由于以手机为使用平台,用户们可以随时随地学习英语。
该服务由凸版印刷株式会社研发并运营,但本公司提供了考试系统的核心―CAT模块以及相关试题和学习材料。
【服务特点】
1,用户参加英语能力考试后,系统将提供保证考试合格所必须的单词短语,用户利用背诵工具反复练习,通过这样的学习过程,达到牢记单词短语的效果。
- 根据英语能力考试的结果,找出需要掌握的单词短语。
- 研发背诵工具“最短时间/掌握单词”。
2,提高学习积极性和持续性的功能。
- 排行榜:已掌握单词数的每周排行榜、英语能力考试结果的英检等级排行榜。
- 英检英日词典DX:利用该英日词典,能够快速查找出英检单词的意思及其在英检中的出现频率。
- “今日问题”邮件杂志:按照英检的级别每天发送简单的英语试题邮件。
- 待机画面:将难以记住的单词存为待机画面。
富士Xerox综合教育研究所
富士Xerox综合教育研究所主要针对企业实施能力开发及适应性考试。本公司向其以下两个部门提供协助。
(1)英语能力开发
富士Xerox综合教育研究所接受企业客户的委托,开发并运行针对企业业务内容的英语能力测试。此测试以原有的考试及其独自开发的口语考试相结合的形式进行实施。在此项目中,本公司在英语能力考试相关的方法论的咨询以及样本考试的分析等方面提供了协助。
富士Xerox综合教育研究所对企业客户的各部门于2004年4月起开始试验性地实施该测试计划。除此之外,本公司的CASEC作为该测试计划的一部分被利用。
(2)工作能力/商务室
工作能力/商务室,围绕人力资源开发,以工作能力为中心开展咨询业务。在向企业客户提供咨询服务的过程中实施各种调查,本公司就调查结果的验证及调查方法提供建议。
相关URL:https://www.fxli.co.jp/
兵库县教育委员会
2004年3月,兵库县教育委员会以全县约300所小学和初中约25,000人次的学生为对象,实施了“学习状况调查”。针对小学进行了语文和算数,针对初中进行了语文、数学和英语合计5个科目的调查。并分别对学生、家长和老师进行了纸质问卷调查。其目的在于评价全县的教育普及状况,并明确基础教育指导方法中需解决的课题以及改善方法。
本公司接受 “学习状况调查” 的实施委托,具体如下
- 纸质试卷及纸质问卷的制作(印刷、装订、制作CD)
- 向接受调查的学校邮寄调查资料并回收
- 读取答题卡中的数据,对主观试题进行评分
- 对得分情况及学生、家长和老师的调查问卷进行分析
例) 单纯分析、交叉分析、相关性分析等 - 报告书的印刷及装订