社会的に公正な教育測定のために: カナダの研究者による AI を活用した語学テスト改善策
Google Cloud Japan Team
カナダで仕事、学校、移住に申し込む際の重要なツールである語学テストは、スキルを持つ人材にとって障害になることがあります。カルガリー大学の研究者たちは、この状況を変えたいと考えています。
※この投稿は米国時間 2024 年 1 月 13 日に、Google Cloud blog に投稿されたものの抄訳です。
医療従事者の需要が高まる中、この分野に入るための標準化されたテストは、受験者にとって厳格かつ公正なものでなくてはなりません。
カルガリー大学ワークランド教育学部の准教授を務める Gregory Tweedie 博士は、このようなテストの改善を目的とした研究を進めるなか、看護師や高度なスキルを持つ人材の多くが、その分野では模範的な存在でありながら、こうしたテストでは解答につまずくのを目の当たりにしてきました。
Tweedie 博士は、自身の応用言語学研究から具体例を挙げます。彼がガイと呼ぶ男性は、国際的な教育を受けてきた看護師で、カナダに来て医療に従事したいと考えていました。カナダでは、移民の語学能力をテストするために、国際英語力試験システム（IELTS）を含む、いくつかの標準化されたテストが採用されています。1 回のテストの受験料は通常約 300 カナダドルで、ランダムに割り当てられたトピックに関して口述テストと筆記テストが行われます。
「ガイは 9 回もテストを受けたのに合格しませんでした」と、Tweedie 博士は語っています。「また、彼の何が問題だったのかについても、一切フィードバックが得られませんでした。彼が看護師として英語で仕事をするつもりなら、彼の英語能力を評価する必要があることに異論を唱える人はいないはずです。しかし、そのテストは彼の医療業務に関連した内容であるべきです」。
ガイの事例や、似たような他の例から、Tweedie 博士は語学能力を評価するための従来の国際的なテストの慣習に疑問を抱きました。
IELTS や外国語としての英語のテスト（TOEFL）は、準備コースや受験料を含め 10 億ドル規模の産業を生み出しています。しかし、それらのテストは語学能力を正確に評価しているのでしょうか。Tweedie 博士は、その答えを探りたいと考えました。語学テストのスコアの主要な予測因子を特定することで、語学テストを公正なものにして、利用しやすいものにしたいと考えたのです。
人材の獲得競争が激化し、労働力不足が続いている現在、多くの企業がこの問題に取り組んでいます。Tweedie 博士の研究は、企業、政府、教育者が活用するあらゆる種類のスキルテストを、より正確で信頼できるものにする取り組みの重要な一部を担っています。
語学テストのスコアを 90% の精度で予測
Tweedie 博士が最初に行った研究では、テストのスコアが日によって、または週によって大きく異なり、標準化されたツールとしての有効性が低いことが示されました。
より良い方法を模索していた Tweedie 博士と彼の大学院生たちは、ML を使用してスコアを予測してみることにしました。Google Research クレジットに申し込み、Vertex AI（ML モデルのトレーニング、チューニング、デプロイのためのツールを備えた Google Cloud のオープンで統合された AI プラットフォーム）でテストを実行しました。
Vertex AI を使用することで、語学スキルとは直接的な関係がほとんどない要素についても、90% の精度で生徒のスコアを予測することができました。
「10 回のうち 9 回は、特定のユーザー属性を使用して ML で生徒のスコアを予測できました。私にとって、これは社会正義に関わる問題です」と、Tweedie 博士は語ります。「こうした従来のテストは教育的ではありません。概ね、受験者の語学能力を向上させることには役立っておらず、希望職種を担える能力があるかどうかさえ示されていません。目的を達成したい候補者に面倒で無意味な要求を押し付けている状況と 言えるえるでしょう。」
Tweedie 博士とそのチームは、まず TestPredikt というアプリを開発して、この問題に取り組みました。このアプリは、生徒が自身に関するデータを入力することで、国際的な複数の標準化された語学テストの予測スコアを生成します。これにより、生徒は今すぐテストを受けるか、もっと準備をするかを決めることができます。
チームは他の利点についても考慮していました。受験者が自身の長所と短所を知ることができるようフィードバックを追加したり、人間や AI のチューターといった、向上に取り組むためのリソースを追加したりすることです。現時点では、カナダの言語とテストに焦点を当てていますが、より多くのデータを収集し、世界的に展開していきたいと考えています。
当初、Tweedie 博士は AI を活用するアイデアに躊躇していたものの、彼のチームは Google のエンジニアから多くのサポートを受け、また Google Research クレジットなしでは利用できなかったであろうコンピューティング リソースにもアクセスすることができました。
Tweedie 博士はこのように述べています。「昔ながらの線形回帰モデルで、どうやってこれを解明できるだろうかと考えていましたが、Vertex AI が私に新しい世界を開いてくれました。ML の基盤となる深い数学的理論を私が理解することはできないでしょうし、その必要もないと思っています。それでも必要なことはすべて、Vertex AI で行えるのですから。」
この取り組みは非常に優れた効果があったため、Tweedie 博士は現在、言語研究における ML の使い方を自らの生徒に教えています。
外国人受験者のための公正さとアクセスの拡大
2022 年 3 月、Tweedie 博士は、Google のクラウド テクノロジー ツールを使用して他の研究者たちと協力し、各分野における現実の問題を解決するために Google Cloud リサーチ イノベーター プログラムに参加しました。Tweedie 博士は、自身が行ったような研究が世の中にもたらす変化に 期待しています。
「ガイの場合、テストを 9 回も受ける代わりに、1 回だけ受けて、うまくいきそうかを知ることができます。これは、彼にとっても、社会にとっても、朗報といえるでしょう」と Tweedie 博士は説明します。
移民の割合が高く、公式にバイリンガル社会であるカナダでは、このようなテストは特に重要です。その職を果たす能力があるかどうか確認するためには、公正かつ正確な方法で知識をテストすること、そしてスキルを実証することの微妙なバランスが必要です。
Tweedie 博士は次のように語っています。「移住のため、雇用のため、入学のため、こうした目的のために語学テストは非常に重要視されています。受験者が仕事や勉強で成功できることを予測できなければ、こうしたテストは意味のない大きな障壁となります。社会的に公正な教育測定の原則では、個人が自身に直接関わる能力の評価から恩恵を受ける権利と、その測定において客観性を要求する権利の両方を持つことが求められます。」
AI とクラウドを使用することで、これらの評価を改善し、関係者全員にとって有意義な測定ができるようになります。
高等教育機関で生成 AI の使用を開始する方法についてご関心をお持ちの方は、公共部門向けの新しい 10 ステップのガイドをダウンロードしてご確認ください。メンフィス市、ミネソタ州、米国国防総省など、各分野固有のユースケースやお客様事例が掲載された、生成 AI の取り組みを開始するための包括的なガイドとなっています。
-Transform 上級編集者 Matt A.V. Chaban
