2023年11月23日木曜日

オンライン学習状況を可視化すると何が分かるか

IT系の某オンライン学習サイトの模擬試験受験状況データをいただいて,その分析を進めている.なかなか興味深い結果がみえてきているので,その一部を紹介したい.なお,このオンライン学習サイトは,無料で模擬試験を受けられるもの.その模擬試験は40問ひとセットで,40問の問題はランダムに出題される.

まず,どれだけのユーザがどのくらい模擬試験にチャレンジしているか?というデータを集計してみた.1回の試験にIDが振られているので,それらの数をユーザごとに集計する.その結果,最大で593回も受験しているユーザがいた(なお,次点が403回,その次が121回で,それ以下は100回以下である).

ほとんどが数回から十数回のチャレンジであるため,25回以下に限定してヒストグラムを描いてみた.その結果が次の図である.

1回しか挑戦していないユーザが多いのは予想通りで,指数関数的な分布を描くであろうという状況もほぼ予想したとおりである.特異的な値がみられず,比較的きれいなカーブを描いているのは,回数に注意するユーザはほぼいないことを示唆していると考えられる.

ところで,40個の問題が出される模擬試験だが,途中で諦めてしまうユーザも多いはずだと考えた.そこで,何問まで解答したか?について集計してみた.

ところがこれが意外なことに,ほとんどのユーザが40問,最後まで解答している.皆さん真面目だなあ.

しかし,それでも途中で諦めてしまうユーザも少なからずいる.そこで,何問まで解答して,そのあと諦めてしまったのかを,39問の解答までに限って集計し,ヒストグラムを描いてみた.次の図をみていただきたい.

こちらも,ところどころ特異点があることと,35問以降を除くと,指数関数で近似できるかできないか微妙な感じではあるが緩やかに減少するカーブを描いている.

しかし,先のグラフと異なるのは,5, 10, 20といった,明らかに特異点と考えられる点が観察できることである.これは,5問やってもういいや,10問やったからやめよう,20問まで頑張った……というように,キリの良い数でリタイアしている状況を表している.

35問から徐々に増えていることについては次のように考えられよう.すなわち,そこで諦めたというよりは,それ以降,答えがわからないのでスキップした,という状況が一定数あるとの示唆である.とくに39問が極端に多くなっている理由は,39問は解答したが40問目がわからなかった,という状況であろう.

(追記)学生から,タイムアップの影響じゃないですか?との指摘を受けた.たしかに,制限時間があるため,最後のほうは制限時間以内に解けなかったためにスキップされていると考えるほうが自然かもしれない.

0 件のコメント:

コメントを投稿