CBTトライアルは平成18年度から、はじめ、平成20年度まで3回行うことになった。第1回CBTトライアルまでの準備状況は、文末の(資料1)を参照されたい。
[1] 第1回CBTトライアル
1)第一期CBT問題作成と精選
CBTに用いる問題の作成を開始するに当たり、出題範囲および形式をどのようにするかが平成17年10月に全国薬科大学長・薬学部長会議で決定された。その内容は以下の通りである。
出題範囲:日本薬学会編「薬学教育モデル・コアカリキュラム」のうち「A 全学年を通して:ヒューマニズムについて学ぶ」「B イントロダクション」「C 薬学専門教育」、および薬学教育の改善・充実に関する調査研究協力会議編「実務実習モデル・コアカリキュラム」のうち「実務実習事前学習(以下D1と呼称)」に準拠して出題する。ただし、これらのモデル・コアカリキュラムのうち△が付された項目は出題対象外とする。 この結果、総数で991のSBOがCBTの出題範囲となる。
出題レベル:薬学生として最低限必要な専門的知識、および実務実習に出る前に最低限必要な知識を問う。原則として、受験時に、通常の授業を理解している学生が特別な準備を要することなく解ける問題とする。専門領域の内容を詳しく問うような問題は出題しない。
試験の形式:五肢択一の客観試験とする。一問に多くの事項を盛り込まず、単純な内容で問題数を多くする積み重ね形式で知識を問う。解答に当たって、学生は筆記用具、メモ用紙等を用いることはできない。
出題数:暫定的に以下の310題に定められた。
項目別出題数
1 |
ヒューマニズム:A, イントロダクション:B | 10題 |
2 |
物理系薬学:C1-C3 | 30題 |
3 |
化学系薬学:C4-C7, C 17 (2) | 40題 |
4 |
生物系薬学:C8-C10, C 17 (3) | 35題 |
5 |
健康と環境:C11-C12 | 40題 |
6 |
薬と疾病:C 13 (1), (2), (3), C 14 | 55題 |
7 |
薬と疾病:C 13 (1), (4), (5), C 16 | 35題 |
8 |
薬と疾病:C15 | 15題 |
9 |
薬学と社会:C18, C 17 (1), (4) | 20題 |
10 |
事前実習:D1 | 30題 |
2)CBT候補問題の作成
以上の決定に基づき、日本薬学会薬学教育改革大学人会議の元にCBT問題委員会が組織された。平成17年10月23日に、本委員会から62の薬学部、薬科大学にそれぞれ150題ずつの問題作成を依頼した。また、日本薬剤師会、日本病院薬剤師会にも実務実習関係の問題作成をお願いした。この際に、以下のCBT問題作成に関する遵守事項も確認された。試験問題は、参加大学、日本薬剤師会、日本病院薬剤師会が分担して作成する。出題の範囲、レベル、方式などにおいて、現行および改定が予定される厚生労働省薬剤師国家試験のそれらとは異なるものにする。問題は非公開とする。関係者は知り得た情報を漏らしてはならない。問題の漏洩が認められた場合には適切な措置が取られる。
その結果、平成18年3月末日までに10,343題の第一期候補問題が集まった。これらの問題は、各組織に設置されたサーバーから、インターネットを通してセンターサーバーに登録された。各分野の問題数は以下のようであった。
ヒューマニズム:334題 物理・分析系:955題 化学系:1,329題
生物系:1,354題 衛生系:1,238題 薬理・薬物治療系:2,023題
薬剤系:946題 情報系:418題 社会薬学:774題 事前実習:972題
3)問題の精選
各機関からセンターサーバーにエントリーされた上記の問題が、CBT問題として適切であるか否かを評価するために、各大学、機関のご協力を得てCBT問題精選委員会を編成した。各大学、機関から少なくとも2名以上のご参加をいただき、問題数に対応させて21チーム198名から成る下記のような委員会を設置した。
CBT問題精選委員会の構成
チーム
|
分 野
|
委員数
|
チーム
|
分 野
|
委員数
|
HUM01
|
ヒューマニズム |
6
|
DIS01
|
薬理系1(関東薬理) |
10
|
PHY01
|
物理系1(物理化学) |
10
|
DIS02
|
薬理系2(近畿薬理) |
10
|
PHY02
|
物理系2(分析化学) |
10
|
DIS03
|
薬理系3(薬物治療) |
10
|
ORG01
|
化学系1(関東有機化学) |
10
|
DRU01
|
薬剤系1(関東薬物動態) |
10
|
ORG02
|
化学系2(近畿有機化学) |
10
|
DRU02
|
薬剤系2(近畿薬物動態) |
10
|
ORG03
|
化学系3(生薬) |
6
|
DRU03
|
薬剤系3(製剤・開発) |
6
|
BIO01
|
生物系1(関東生物1) |
10
|
INF01
|
情報系 |
10
|
BIO02
|
生物系2(関東生物2) |
10
|
SOC01
|
薬学と社会 |
10
|
BIO03
|
生物系3(近畿生物) |
10
|
PRE01
|
事前実習1(関東) |
10
|
HEL01
|
衛生系1(関東衛生) |
10
|
PRE02
|
事前実習2(近畿) |
10
|
HEL02
|
衛生系2(近畿衛生) |
10
|
問題精選の経過は以下の通りである。問題精選を3段階に分けて実施した。
第1ステップは平成18年4月、5月に行い、各問題を2名の当該領域の専門委員が審査した。審査は、各委員が個人のパソコンからインターネット経由でセンターサーバーにアクセスして作業を進めることとし、各委員は担当の問題のみを閲覧できる状態で行った。
第2ステップは、平成18年5月から8月にかけて、第1ステップでの審査を通過した問題について、6名の当該分野の専門委員が一堂に会して審査を行った。第1ステップでの評価、コメントを参考にしながらABCの三段階評価を行い、C判定となったものはこの時点で不採用となった。B判定の問題については、委員会で合意した内容に従って問題精選委員会のチーフまたはサブチーフが修正を行い、出題できるレベルのものに書き直した。
第2ステップを通過した問題について、各分野のチーフ、サブチーフ、及びCBT問題委員会委員からなる専門領域を越えたグループを6組編成し、それぞれのグループが約1,200題の問題を担当した。第3ステップでは、分野ごとの難易度、表現の差等を修正することを主目的として審査した。
第3ステップのグループ審査を平成18年9月~10月にかけて行い、最終的な採用、不採用について検討を加えた結果、6855題の問題が採択され、CBTトライアルに出題されることとなった。
2.実施状況
- 実施の概要:
- 時期・目的・参加大学:
平成18年度薬学共用試験CBTトライアルは、平成19年1月29日(月)から2月23日(金)の4週間の間に実施された。目的は、CBT受験システム(ハードおよびソフト)が稼動するか否かの検証、ならびに第1期作製のCBT候補問題の妥当性(難易度および識別指数)の測定であった。参加大学は50大学51学部、実際に実施したのは49大学50学部であり、当該学年の学生が在籍しているが不参加であった大学は5校のみであった。試験は各2時間の3つのゾーンに分かれており、午前中にゾーン1、午後にゾーン2とゾーン3を実施する1日単位のものであった。受験者については、4年制薬学部の3年生の約半数、1日(中継サーバ1台あたり)に100人までという条件で各大学から受験申請をしていただいたため、49大学50学部のうち、21学部は2日間をかけて実施することとなった。従って、4週間の実施期間中の受験大学の延べ数は71大学であり、一日最多実施大学数は、2月20日の10大学であった。
- 参加学生:
当初申請された受験者数4,555名であったが、実際の受験者数は約80%の3,677名であった。今回の実施時期が、学部の追試験・再試験あるいは就職活動と重なったことが、高欠席率の原因であろうと予想している。なお、全国の8大学では受験率100%であったことは、特筆すべきであると考えている。ここで、3,677名という受験者数は3ゾーンすべてを受験した学生数である。なお、今回は一部のゾーンのみを受験した学生も約30名いた。本番のCBTでは3ゾーンすべてを受験することが必須であり、途中のゾーンからの受験は認めない方針であるが、トライアルでの目標の一つである問題の難易度の測定に向けて、可能な限り多くのデータを集めたいとの判断から一部の受験も認めることとした。
- 問題の出題について:
今回のCBTトライアルでは、CBT問題委員会で3段階の精選作業で残った6,680題の候補問題について、その難易度と識別指数の測定を目指した。また、同一SBOからの一人の受験生に2題以上出題されないように問題セットを用意した。具体的には、全問題から43種類の問題セットをつくった。これは、SBOごとの候補問題数が最大で43題で、これら43題を1回ずつ均等な人数の学生に受験してもらうためであった。また、各ゾーン内での出題について領域ごとに順序よく出題する方式(たとえばゾーン1の基礎薬学では物理→化学→生物の順で出題する方式)ではなく、コンピュータでランダムに並べ替えて出題した。これは、受験室内で近隣の受験生が類縁の問題を回答している機会を減らすためであった。なお、各セット間で最終成績には優位な差がなかったことから、セット間で問題の難易度はほぼ同じであったと判断している。
2)薬学共用試験センターでの実施体制
①問題送信とバックアップ:
トライアルで使う問題セットは受験当日に東京理科大学に設置したセンターサーバーから中継サーバに自動配信されるシステムを採用した。薬学共用試験センターでは、試験当日に東京理科大学のサーバーが不測の理由で稼動しない可能性を想定して、渋谷の長井記念館内の薬学共用試験センター事務所に、仮のバックアップシステムを構築し、一日ごとに全参加大学が使用する問題セットを用意し、専従の富士通システム・エンジニアが待機した。幸い、センターから各大学への問題配信システムはほぼ順調に稼動し、バックアップシステムは使用しないでトライアルを終えることができた。
②モニター員の派遣:
トライアルを実施する大学へ、薬学共用試験センターから1名のモニター員を派遣した。モニター員にはCBT実施委員会大学委員を中心に、トライアル実施校の所在地等を考慮して選ばせて頂き、予め講習会(東西で2回)を開催して、その役割について共通の認識を持った。すなわち、モニター員の仕事はトライアルの円滑な運営に向けて、(1)試験会場での適切な試験の進行、およびトライアル中に起こるかもしれない偶発事故に対する対応を監督すること、(2)不正な試験問題のコピーあるいは記録など、好ましくない行為がないように見守ることであった。
③ 実施結果
第一回CBTトライアルは、平成19年1月29日から2月23日の間、49大学50学部の3年次学生(4年制学部)を対象として実施され、3,677人が参加した。欠席者が20%あったため計画していた4,500名の参加は達成できず、当初予定の結果の解析手法(識別指数による難易度の解析)を変更し、項目応答理論(IRT:Item Response Theory)による項目識別力の算出を行った。
トライアル結果のうち、全国正答率を(図1)にまとめた。最高値88.4%、最低値19.7%であり、平均値は55.3%であった。中央値54.8、標準偏差8.9であり、ほぼ完全な正規分布を示した。3つのゾーンでの正答率は、ゾーン1:50.3%、ゾーン2:56.2%、ゾーン3:59.5%であった(図2)。分野別正答率を(図3)に示す。物理系薬学、化学系薬学、薬学と社会の正答率が低く、一方ヒューマニズム・イントロダクションの正答率が高かった。
④今後の方針
平成19年3月、全国の薬科大学・薬学部に対し、第二回CBT問題作成を依頼している。昨年同様の問題数が準備され、三段階の精選作業(ブラッシュアップ)が進むと仮定すると、新規問題として約10,000問が集まり、精選作業を経て6,000~7,000問が問題候補に残ると期待できる。これに再出題問題約4,000問を加えると、合計10,000問以上の問題が準備できる。約10,000問を客観的に評価するためには、第二回CBTトライアルに現4年次学生全員が参加する必要がある。関係各位のご協力を期待する。
⑤平成19年度薬学共用試験CBTトライアルについて
平成21年度の薬学共用試験の本格実施においては、1万人規模の受験生が短期間(暫定的な予定では平成22年1月~3月)にCBTを受験することとなる。平成19年度には、これらの条件を視野に入れてCBTトライアルを行う計画である。
◎トライアルAシリーズ
参加学生: | 55大学56学部の4年制薬学教育の4年生 |
学生数: | 6年制薬学教育の定員学生数(計画人数 10,754名) |
日程: | 平成19年11月1日(木)から12月15日(土)までの1.5ヶ月間。 |
実施の原則: | 参加大学は連続の2日間以内(原則として)で実施。 一日の参加学生数は1中継サーバ当たり250名以下。 |
目的: | 第二期作成候補問題の妥当性の検証と難易度の測定及び第一期作成問題の難易度の再測定 1万人規模での実施システムの検証 試験の運用(マニュアル、当日、モニター派遣)及び受験の管理(試験日と受験生の登録、受験票の発行)のトライアル 成績フィードバックのトライアル |
◎トライアルBシリーズ
参加学生: | 平成17年スタートの6大学の4年制薬学教育の3年生 奥羽大学、国際医療福祉大学、金城学院大学、 愛知学院大学、同志社女子大学、崇城大学 |
学生数: | 6年制薬学教育の定員学生数(計画人数 920名) |
日程: | 平成20年1月28日(月)から2月10日(日)までの2週間。 |
実施の原則: | 参加大学は連続の2日間以内(原則として)で実施。 一日の参加学生数は1中継サーバ当たり250名以下。 |
目的: | 実施大学でのシステム稼動 受験の管理 問題難易度について 問題難易度について |
◎今後のスケジュール
平成19年8~ 9月
|
各大学による受験日と受験生の登録 |
9~ 10月
|
中継サーバのテストラン |
11~ 12月
|
トライアルの実施 |
CBT問題作成から第一回トライアルまでの活動記録
平成17年5月11日 CBT出題範囲が決定された。
平成17年9月25日 モデル問題が提示された。
平成17年10月23日 全国62大学および日本薬剤師会、日本病院薬剤師に問題作成依頼。
平成17年12月15日 「薬学共用試験システム説明会」(共立薬科大学)
平成18年1月28日 「CBT問題作成と提出のための講習会(西日本開催)」(京都薬科大学)
平成18年1月29日 「CBT問題作成と提出のための講習会(東日本開催)」(共立薬科大学)
平成18年1月25日~1月31日 55大学に中継サーバ導入。
平成18年2月28日~3月10日 各大学からセンターサーバへ問題送信。
平成18年3月28日 「薬学共用試験CBT問題精選委員説明会」(仙台国際センター)
平成18年4月8日~5月10日 問題精選第一ステップ
平成18年4月25日 「薬学共用試験CBT問題精選第二ステップ説明会(東日本)」(共立薬科大学)
平成18年4月26日 「薬学共用試験CBT問題精選第二ステップ説明会(西日本)」(武庫川女子大学)
平成18年5月22日~8月7日 問題精選第二ステップ
平成18年8月8日~10月7日 問題精選第三ステップ
平成18年10月17日 特定非営利活動法人 薬学共用試験センター 設立
平成18年10月25日 「平成18年度薬学共用試験CBTトライアルに向けての説明会(東日本)(共立薬科大学)
平成18年10月26日 「平成18年度薬学共用試験CBTトライアルに向けての説明会(西日本)(京都薬科大学)
平成18年10月27日~11月17日 平成18年度CBTトライアルの参加登録
平成18年11月29日 ミニトライアル(熊本大学)
平成18年11月30日 ミニトライアル(昭和大学)
平成18年12月01日 ミニトライアル(東北薬科大学)
平成18年12月05日 ミニトライアル(北里大学)
平成18年12月06日 ミニトライアル(名城大学)
平成18年12月07日 ミニトライアル(大阪大学)
平成18年12月08日 ミニトライアル(武庫川女子大学)
平成18年12月09日 ミニトライアル(東京薬科大学)
平成18年12月13日~31日 テストラン実施(各大学)
平成18年12月20日 トライアル受験登録開始
~平成19年1月10日まで 平成19年2月9日までに実施する大学
~平成19年1月20日まで 平成19年2月10日以降に実施する大学
平成19年1月19日 受験票送付(平成19年2月9日までに実施する大学)
平成19年1月22日 「平成18年度薬学共用試験センターCBTトライアルモニター説明会(東日本)」
(日本薬学会長井記念館)
平成19年1月23日 「平成18年度薬学共用試験センターCBTトライアルモニター説明会(西日本)(大阪大学)
平成19年1月25日 受験票送付(平成19年2月10日以降に実施する大学9
平成19年1月29日~2月23日 平成18年度トライアル実施 (49大学50学部)
(実施大学と実施日は「第5章 2.実施状況」を参照のこと)
平成19年3月9日~20日 トライアルの結果開示
[2]第2回CBTトライアル
1)第二期 CBT問題作成と精選
CBTに用いる問題の作成は、第1期の場合同様、全国薬科大学長・薬学部長会議で決定された内容に従って行った。その内容は以下の通りである。
出題範囲:日本薬学会編「薬学教育モデル・コアカリキュラム」のうち「A 全学年を通して:ヒューマニズムについて学ぶ」「B イントロダクション」「C 薬学専門教育」、および薬学教育の改善・充実に関する調査研究協力会議編「実務実習モデル・コアカリキュラム」のうち「実務実習事前実習(以下D1と呼称)」に準拠して出題する。これらのうち、△印のついたSBOを除いて、全部で991のSBOから出題される。
出題レベル:薬学生として最低限必要な専門的知識、および実務実習に出る前に最低限必要な知識を問う。通常の授業を理解している学生であれば特別な準備を必要としないような難易度とする。作成する教員が、悪くとも学生の70%は正解すると判断できるような問題を作成する。専門領域の内容を詳しく問うような問題は出題しない。
試験の形式:五肢択一の客観試験とする。一問に多くの項目を盛り込まず、単純な内容で問題数を多くする積み重ね方式で知識を問う。解答に当たって筆記用具、メモ用紙を用いないことを前提にする。
出題数:CBTでは分野ごとに以下の問題数(全310題)が出題されることとなっており、第2回トライアルでもこの数に準じて出題される。
項目別出題数
1 |
A ヒューマニズム Bイントロダクション |
10題 |
2 |
C1-C3 物理系薬学 |
30題 |
3 |
C4-C7、C 17 (2) 化学系薬学 |
40題 |
4 |
C8-C10、C 17 (3) 生物系薬学 |
35題 |
5 |
C11-C12 健康と環境 |
40題 |
6 |
薬と疾病C 13 (1), (2), (3), C 14 |
55題 |
7 |
薬と疾病C 13 (1), (4), (5), C 16 |
35題 |
8 |
薬と疾病C15 |
15題 |
9 |
C18, C 17 (1), (4) 薬学と社会 |
20題 |
10 |
D1 事前実習 |
30題 |
2) CBT候補問題の作成
第2回トライアルも日本薬学会薬学教育改革大学人会議の元にあるCBT問題委員会において第2期の問題作成方針が検討され、その結果、67の薬学部、薬科大学にそれぞれ昨年と同数である150題ずつの問題作成を依頼することとなった。また、日本薬剤師会、日本病院薬剤師会にも実務実習関連の問題作成を依頼した。しかし第1期で生じた問題点を解消すべく、問題依頼に若干の工夫を加えた。
第1期の問題作成において、以下のような問題点が明かとなっていた。
1)分野ごとに採択率に大きな差がある
ヒューマニズムの分野の採択率が38.3%と非常に低かった。最も高い薬理・薬物治療系(87.7%)と比べて半分以下であり、この結果、問題の充足率にも大きな差が生じることとなった。
2)各分野の代表的なキーワードに出題が集中している
他の大学・機関でどのような問題が作成されているのかを見ること無しに問題を作成しなくてはならないため、各SBOから連想される代表的なキーワードに出題が集中した。逆に、二番手、三番手以降のキーワードを用いた出題が極端に少なかった。
3)殆ど出題されていないSBOが多数存在する
各機関への依頼問題数が150と出題対象SBO数991に比べて遙かに少ないため、問題を作成しにくいSBOを避けることが可能であり、実際に問題が多数存在するSBOと、殆ど存在しないSBOに大きく分かれる結果となった。問題数が2題以下のSBOが、全体の三分の一近い308存在した。
以上の三つの問題点を考慮して、問題作成依頼の際に以下の四項目を付帯条件としてお願いすることとした。
1)第1期に作成した問題とは異なる題材を用いて問題作成する
2)作成する問題の20%程度を、問題数2題以下のSBOから作成する
3)各SBOにおける二番手、三番手のキーワードについての問題を作成する
4)問題採択率の関係で少数となったヒューマニズム、薬剤系の問題を5題多めに作成する。
このような条件で問題作成を開始していただき、その結果、平成19年5月8日までに11,788題の第2期CBT候補問題が集まった。これらの問題は、各組織に設置された中継サーバから、インターネットを通して中央のサーバに登録された。各分野の問題数は以下の通りであった。
提出された分野毎問題数(第1期との比較)
分野 |
第二期問題数 |
第一期問題数 |
|
1 |
A ヒューマニズム Bイントロダクション |
722 |
344 |
2 |
C1-C3 物理系薬学 |
1,012 |
955 |
3 |
C4-C7、C 17 (2) 化学系薬学 |
1,455 |
1,329 |
4 |
C8-C10、C 17 (3) 生物系薬学 |
1,385 |
1,354 |
5 |
C11-C12? 健康と環境 |
1,394 |
1,238 |
6 |
薬と疾病C 13 (1), (2), (3), C 14 |
1,961 |
2,023 |
7 |
薬と疾病C 13 (1), (4), (5), C 16 |
1,503 |
946 |
8 |
薬と疾病C15 |
644 |
418 |
9 |
C18, C 17 (1), (4) 薬学と社会 |
698 |
774 |
10 |
D1 事前実習 |
1,014 |
972 |
合計 |
11,788 |
10,343 |
3) 問題の精選
中央サーバにエントリーされた上記の問題が、CBT問題として適切であるか否かを評価するために、各大学、機関の協力を得て第2期CBT問題精選委員会を編成した。第1期と同様に、各組織から必ず2名以上のご参加をいただき、問題数に対応させて21チーム198名の委員会を設置した。
問題精選は三段階に分けて行い、その経過は以下の通りである。
a) 第1ステップ
第1ステップは平成19年5月、6月に行い、各問題を2名の当該領域の専門委員が審査した。審査は、各委員が個人のパソコンからインターネット経由で中央のサーバにアクセスし、自分が担当する問題のみを閲覧できる状態で行った。また、2名の委員には、お互いの評価内容を見ることができない環境で審査をしていただいた。ABCの三段階で評価を行い、Aは「そのまま採用」、Bは「修正を加えれば採用可」、Cは「不採用」とし、両委員ともCとした問題は、この時点で不採用とした。しかし一期目と同様、この時点での不採用問題は殆ど無く、11,788題中346題(2.9%)であった。また、Bと判定した委員には、どのように修正するべきかについてのコメントを書き入れていただいた。
b) 第2ステップ
平成19年6月16日から8月12日にかけて、第一ステップの審査を通過した問題群について、6名の当該分野の専門委員による審査を行った。第1ステップでのコメントを参考にしながら作業を行い、合議によりC判定となった問題はこの時点で不採用となった。B判定の問題に関しては、会議において修正内容を決定し、それに基づいて専門委員中のチーフ、またはサブチーフが修正を実施した。修正済の問題は採用可とし、第1ステップを通過した問題のうち7713題(65.4%)が第2ステップで採用とされた。第1期においては第2ステップにおける採択率は71.0%であり、この時点での採択率はかなり低下したことになる。
c) 第3ステップ
各分野のチーフ、サブチーフ及びCBT問題委員会委員から成る、専門領域を越えたグループを6組つくり、第2ステップを通過した問題について審査を行った。第3ステップの主たる目的は、領域を越えたメンバーで問題を検討することにより、分野間の難易度の差の調整、表現法の違い等の修正を行うことである。7,713題をほぼ六つに分け、各グループが1,200~1,400の問題を担当した。
第3ステップは、まず全部の委員が事前に各自のパソコンからインターネットを通して問題をチェックし(8月22日~9月14日)、全委員が採用とした問題についてはこの時点で採用を決定した。1つでもコメントの付いた問題について、メンバーが集合して精選会議を開催し(9月17日~10月14日)、採否を決定した。その結果、7,167題(60.8%)の問題が採択され、CBTトライアルに出題されることとなった。第1期の採択率は66.3%であり、第3ステップにおいても第1期に比べて採択率が低下する結果となった。分野別採択率表を以下に示した。
4) 採択問題についての解決すべき課題
分野別採択率表から明らかなように、採択率はどの分野においても低下する傾向を示した。その理由として、1期目で代表的な問題の作成をお願いしたことを受け、それとは異なる問題の作成をお願いしたため、作る側の難度が上昇したためと考えられる。更に、問題数の少ないSBOから多く作成するよう依頼したが、これらの中には元々問題を作りにくいSBOも数多く含まれているため、結果として良問が出来にくかったのではないかと推察される。ヒューマニズム分野で特に採択率が低かったが、この分野の問題では、選択肢等を手直しすれば採用可とできる問題が数多くあった。しかし、日程の関係上修正することが出来ず、結果として不採用問題となった。
分野別採択率
分野 |
第二期問題数 |
採用問題数 |
採択率 |
第1期採択率 |
ヒューマニズム・イントロ |
722 |
199 |
27.6% |
38.3% |
C1-C3 物理系薬学 |
1,012 |
758 |
74.6% |
78.3% |
C4-C7、C 17 (2) 化学系薬学 |
1,455 |
892 |
61.3% |
61.2% |
C8-C10、C 17 (3) 生物系薬学 |
1,385 |
959 |
69.2% |
71.7% |
C11-C12 健康と環境 |
1,394 |
869 |
62.3% |
67.1% |
薬と疾病C 13 (1), (2), (3), C 14 |
1,961 |
1,296 |
66.1% |
87.7% |
薬と疾病C 13 (1), (4), (5), C 16 |
1,503 |
971 |
64.6% |
39.9% |
薬と疾病C15 |
644 |
334 |
51.9% |
57.2% |
C18, C 17 (1), (4) 薬学と社会 |
698 |
368 |
52.7% |
53.1% |
D1 事前実習 |
1,014 |
521 |
51.4% |
59.7% |
合計 |
11,788 |
7,167 |
60.8% |
70.9% |
5) 今後のCBT問題の作成について
第2期のCBTトライアルにより難易度、識別値等の基準を満たす問題が7,202題に達した。その内訳は以下のようである。
分野別問題充足率
分野 |
(A)採用問題数 |
(B)CBT出題数 |
(A)/(B) |
A ヒューマニズム Bイントロダクション |
97 |
10 |
9.7 |
C1-C3 物理系薬学 |
518 |
30 |
17.3 |
C4-C7、C 17 (2) 化学系薬学 |
720 |
40 |
18.0 |
C8-C10、C 17 (3) 生物系薬学 |
1,012 |
35 |
28.9 |
C11-C12? 健康と環境 |
940 |
40 |
23.5 |
薬と疾病C 13 (1), (2), (3), C 14 |
1,793 |
55 |
32.6 |
薬と疾病C 13 (1), (4), (5), C 16 |
901 |
35 |
25.7 |
薬と疾病C15 |
269 |
15 |
17.9 |
C18, C 17 (1), (4) 薬学と社会 |
365 |
20 |
18.3 |
D1 事前実習 |
587 |
30 |
19.6 |
合計 |
7,202 |
310 |
23.2 |
ヒューマニズムに関しては97題しかプールされておらず、この分野から1学生に対して10題出題されることから、9.7人分しか問題が存在しないこととなる。一方、薬理系問題は32.6人分と、ヒューマニズムの3倍以上の充足率に達している。
第3期の問題を収集するに当たって、上記の種々の問題点を解決するための方策がCBT問題委員会において検討された。現在プールされている7,202題という数は、受験生が一万人を超えると予想される本番のCBT向けとしてはまだ不足しているため、全大学に対して再度問題作成を依頼することとなった。
ただし、これまでとは異なり、現在プール問題が4題以下のSBOのみを対象として問題を作成していただくこととした。その結果、対象とするSBOは457と、半分以下になった。しかし、問題不足SBOの分野毎のばらつきは大きかった。
問題不足SBO数(括弧内は各系の全SBO数)
ヒューマニズム:53(全60)、物理系:88(全123)、化学系:116(全169)
生物系:105(全191)、 衛生系:27(全103)、 薬理・薬治系:24(全151)
薬剤系:15(全82)、 情報系:6(全31)、 社会薬学:6(全33)
事前学習:17(全48)
上記の数値、および対象SBOが半減したことを考慮し、第3期問題作成依頼は、全問題数を90題とし、分野毎の内訳を以下のように定めた。
ヒューマニズム:5 物理系:15 化学系:15 生物系:15 衛生系:10
薬理・薬治系:10 薬剤系:5 情報系:5 社会薬学:5 事前学習:5
これらの問題を4月末を目処に作成していただき、第1期、二期と同様の精選過程を踏んでCBT候補問題としていく予定である。
上記の第3期問題作成・精選作業を行うと共に、既に提出されているが採用されていない問題の見直しを行い、改良できると判断されるものについてはその作業を実施する予定である。これらの問題については再度トライアルに出題し、難易度等の吟味を行う必要がある。
2. 実施状況 実施の概要:時期・目的・参加大学:
第2回(平成19年度)CBTトライアルは、4年制4年次学生7,265人(全ゾーン受験者数)を対象に平成19年11月1日から12月14日の6週間で実施した。なお新設6大学についてはまだ4年次学生がいないため別途平成20年2月1日から2月8日の間に4年制3年次学生(受験者数は946名)を対象に実施した。前者をAシリーズ、後者をBシリーズとよび、前者Aシリーズのみについて問題解析した。
本格実施並みの規模でのトライアルを実施する必要性から、当初55大学(56学部)4年次学生10,754名(6年制定員数)の参加を期待し計画したが、各大学の設備や準備の都合で約68%の参加者数であったことは残念である。
問題の難易度解析は昨年度同様に項目応答理論(IRT:Item Response Theory)により統計処理し、項目識別力の算出を行った。本項では、第2回CBTトライアルの実施結果と、問題の評価についてまとめた。
1) 実施結果
トライアル結果のうち、全国正答率分布を(図4)にまとめた。正答率は59.9%であり、第1回トライアル時の55.3%より4.6ポイント上昇した。3つのゾーンでの正答率は、ゾーン1:53.9%、ゾーン2:60.3%、ゾーン3:65.7%であった(表1)。昨年度に比べ、それぞれ3.7、4.1、6.2ポイント上昇していた。分野別正答率は、第1回目と同様に「物理系薬学」、「化学系薬学」と、また「薬と疾病・薬剤系」の正答率が低く、それぞれの平均点は上昇しているものの前2者は昨年度と同様に低い(表1、図5)。
2) 結果の解釈
全国正答率について、昨年度は3年次学生を対象とした結果であった。それに対し、今年度は同一学生群の4年次でのトライアルであるため、平均点が上昇するのは当然ではあるものの、4.6ポイントという上昇幅は予想よりやや低かったように思える。また、分野別の正答率では、昨年度低かった「物理系薬学」や「化学系薬学」の低さは変わらないものの、「薬と疾病・薬剤系」も平均点以下であった。トライアルに出題された全ての問題は、各分野の教員が7~8割以上の正答率を期待できると考えた難易度で作成している。従って、物理系、化学系、薬剤系では、教員が学生に期待する学力と、現状における学生の学力の間に大きな開きがあることが明らかとなった。
一方、昨年度平均点を下回った「社会と薬学」分野では、大幅な平均点の上昇が認められた。また「薬と疾病・薬理系」や「健康と環境」の平均点も大きく上昇した。対象が4年次であり、また各大学での国家試験対策が始まっていることを想像すると、妥当な成績であると判断する。
薬学共用試験センター試験統括委員会CBT問題検討ワーキンググループは、昨年度の正答率に比べ今回の正答率上昇が4.6ポイントであったことについて種々議論した。
問題の難易度の解析については後述するが、CBT問題の解析は昨年度と同様の手法を採用し、本格実施に向けた問題プールの作成を計画している。解析作業では、正答率20%未満(および90%以上)の問題についてはプール問題とはせず、問題内容を精査し、再度出題するか問題そのものを修正するかを検討している。このことを考慮すると、正答率20%未満の問題を含めて平均点を算出することは、本格実施の実際を反映していないとも考えられる。そこで正答率20%未満の問題を排除して再度平均点の算出を試みた。その結果図6に示すように、平均正答率は62.1%となり、2.2ポイントの上昇が認められた。なお昨年度の第1回の全国正答率についても同様の解析を再度試みたところ、57.6%であり、第2回同様2.3ポイントの上昇を認めた。
第1回トライアル時に準じて、今回も参加学生、各大学のCBT実施責任者ならびにセンター派遣モニター員にアンケートを実施した。今回のトライアルに際し新たに導入した「メモ用紙」の使用についても多くのコメントをいただいた。これらアンケート結果は後述する。
なおBシリーズの6大学の結果については、その平均点は48.6%(20%未満を含む)であった。昨年度の平均点に比べ6.7ポイント低いが、参加学生の意識、カリキュラムの進行度などを考慮すると、昨年度と同列で比較するだけ十分な材料に乏しい。6大学の教員におかれては、第1回、第2回トライアルの結果を参考に、平成20年度に予定する第3回トライアルに向けて適宜対応していただけることを期待している。
3) 問題の評価 正答率の変化:
第1回と第2回トライアルの正答率分布を図7に示した。第1回の正答率のピークが50%辺りであるのに対し、第2回トライアルではピークが70%辺りに大きくシフトしていることがわかる。また第1回で出題した問題のうち第2回に再出題した問題(再出題基準は後述)では、10%近くの正答率上昇が認められた(図8)。特に基礎薬学領域にその増加が著しい。この結果は、対象学生が4年制3年次(第1回)と4年次(第2回)の比較であるため、また4年次学生では各大学で国家試験対策がなされていることを考慮すると、上昇することは当然である。しかし正答率のピークが70%近くになる事実は、これまで教員各位が「70~80%の正答率が得られる問題」作成に協力いただいた結果が反映されているとも判断できる。
4) プール問題の整理
問題の評価は昨年度同様項目応答理論(IRT)による統計処理を行った。IRTによる項目識別力について、昨年度の報告書に示した図を再掲する(図9)。(図中項目識別力は「a:識別パラメーター」で表示される。)第2回CBTトライアル出題問題数(第2期作成問題数7,167問題+第1期再出題数3,886問題=11,053問題)(このうち第2期作成問題での内容の重複を考慮して94問題については他の問題を合わせ圧縮したため、出題数は10,959問題である)と参加学生数(7,265名)から、この統計処理は妥当な手法であると判断した。「項目識別力」とは識別指数に類似し、簡単に言えば「成績が優良な学生が正答し、成績が良くない学生が正答できなかった」ことを示す指数である。すなわち項目識別力が高い問題ほど、受験者の学力を客観的に判断できる「良問」といえる。昨年度同様に項目識別力0.3を基準に問題を整理した(図10)。
昨年度の報告書にも述べたように、項目識別力が「何ポイント」ある問題が「良問」であるか、という判断は非常に困難である。項目識別力が高ければ高いほど良問ではあるが、高く設定すればするほどプールできる問題数が減少することは明白である。そこで問題解析ワーキンググループで種々検討した結果、第2回CBTトライアルにおいても第1回同様に項目識別力0.3以上を採用することとした。その結果、正答率20%以上、90%未満の問題のうち、項目識別力0.3以上の問題は4,795問あり、昨年度同様にプール問題とした。昨年度のプール問題(2,407問)と合わせ、7,202問がプール問題として用意できた。
正答率20%未満、90%以上の問題について、また20%以上、90未満の問題であっても項目識別力がマイナスを示した問題は昨年度同様に別途再検討することとした。
5) 再出題問題についての検討
第1回CBTトライアルで項目識別力0.3未満(正答率20%~90%)の3,886問を、第2回トライアルに再出題した。これら問題は、項目識別力が低かったが対象学生が3年次であったことを考慮して今回再出題したものである。その結果、3,886問中1,854問(47.7%)が第2回トライアルで項目識別力0.3を超えた。再出題問題の分野別正答率は前掲した(図8)。
6) 第3回CBTトライアルに向けて
4年制4年次学生を対象に11~12月という時期にトライアルを実施したことは、卒業試験に向けた準備、卒業研究のまとめ時期であるだけでなく、国家試験対策が進められた大学も想定され、実施時期に対するご批判があった。しかしあくまでも本格実施を完璧に遂行するために必要なやむをえないことであることをご理解いただき、67%という参加者数ではあったものの、大きなトラブルもなく実施できた。参加大学の教員諸氏には感謝したい。
一方4年次でもあり、なおかつ国家試験対策が進んでいる大学があるにも関わらず平均点が低いことは、CBTは5者択一式の問題であり、国家試験の出題形式とは異なって正答を一つに絞るという習慣ができていない可能性が考えられる。また参加学生の「共用試験への協力」という貴重な姿勢に、無視できない程度の不熱心さがあったことも平均点の低下を招いた原因があると思われる。各大学教員におかれましては、第3回トライアルに協力してくれる学生に対し、トライアルの趣旨を十分伝えていただき、「1問につき1分でいいから、真剣に取り組んで」くれるようご指導いただきたいと思う。
CBTトライアルは残すところあと1回である。第2回同様のスケジュールで実施する予定である。本各実施開始後の新規問題の作成やその質の予備審査については、共用試験センターで鋭意検討していく。