英検の要約問題が荒れてる？A I採点エラーか？

松谷です。

ちょっと大学受験と直接関係はないですが、

英検のライティングパートの要約問題の採点が話題になっているようです。特に今回は英検１級が話題です。

どんな話題かというと、0点が続出していたんですね。しかも英検で全パート満点とったことあるような海外生活20年以上みたいな英語講師でも。また、32点満点における28点より上みたいな高得点者がほぼゼロだとか。

 

さて、これがどう問題なのか、なぜ起こったのか、どのような背景がありそうなのか、あたりを知っていることを多少元にしながら簡単に推察して書いてみたいと思います。（あくまで推察です）

 

 

英検はRリーディングパート、Lリスニングパート、Wライティングパート、Sスピーキングパートに分かれています。

それで、コンピューターベースで受けるSCBT以外の、

従来型の英検については、RLWが一定基準をクリアしたら、次の二次試験であるSパートの面接に進めます。

で、数年前に英検は試験形式をWについて変えたんですね。

よくある意見論述系統の自由英作文１問200～240Wだけだったところから、それに加えて、英文の要約を90W～110Wの英文で書かせる問題が含まれることになりました。それに伴い時間調整で少しRの問題が減ったりしたと。

 

これ自体は僕は良い変更だと思っています。

なぜいいと思うかというと、ＲＬＷＳと４技能が均等スコア配点の850点であるのに、従来はライティングだけ200～240Ｗの英文一本書くだけでやたらとバランスが取れてなかったんです。

たとえばＲなら単語が25問くらい長文4問くらい読まなければいけないのに対して、あまりにもＷだけ得点が稼ぎやすい状況でした。特に、たまたま用意した覚えたトピックがそのまま出たりとか、英検で得点しやすい型を覚えましたみたいな人がWで結構一発逆転を成し遂げていたんですね。ＲとＬがふるわなくても。それを商売にする英検ライティングの裏技を教えますみたいな業者もいました。

いやＲＬだけでなくＷも含めて技能が均等配点になっているんだからそれはそれでいいことじゃないかという意見もありますが、それはＷの採点が完璧に機能していたらですね。実際には、英検協会のすばらしい努力にもかかわらず、Ｗの採点って結構微妙なことも多くて、しかも採点基準もしっかり公開はされていない中では、揺れが大きすぎたわけですね。致し方ないとも思います。

そんな中で、英文要約という覚えてきたものが通じず、その場で読んで理解した内容を英文で書かせるというものを加えることは、より本人の英語力を正確に反映しやすく、ライティングだけで一発逆転も起きにくいので、歓迎すべき変更だな！と思っていたわけです。

しかし、ここでもまた採点の問題が持ち上がります。

新しいものの導入の常ですが、採点が結構難しいんですね。実際１級だけでなく、他の級においてもなかなか点が取りにくいということが起こっていたようです。特に準１級のSCBTとかでプロ講師がやっても全然高得点がとれないみたいな事態が起こっていたらしいです。

しかし、それでもそれでもなんとか運用がなされているかな、安定してきたのかな、こうやれば点数とれるのかなというのが周知されてきたと思った矢先、、、

今回の英検で急に大きな衝撃が走りました。

かなり多くの人が0点を記録しました。

どうやら理由は、要約の90語～110語で書きなさいという指示が厳格に運用されるようになったようです。

これまでは80語だったり120語だったりしても内容が十分良いものであれば、ほとんど満点みたいな感じになっていました。少なくとも2025年の第2回目までは、

しかし、今回は70語くらいの人とかは、どんなに内容が良くても０点。しかも、内容、構成、語彙、文法の全部の8×4=32点分が全部0点。衝撃的です。

いや一発勝負の大学受験であればややこれは覚悟するべきことなのかもしれませんが、

英検という公益性がかなり高いこれまでずっと続いていたテストでのこれまでまったく違うレンジの採点結果には顔を歪めたひとが多くいたようです。

英検は最近は英検利用といって大学入試でも結構使われ出していた、今回の結果を用いて受験を乗り切ろうとしている人もいたと思いますが、その人にとってこれは大きな大きな影響になったと思います。

また、大学受験生だけでなく、プライベートな時間を割いてこれに賭けて勉強していた社会人の人にとっても本当に厳しいものだったと思います。だって土曜日にテストを受けにいくのだって、家族がいる中で勉強時間を捻出するのだって本当に大変なことですから。

一応英検側にたっていうとすると、2025年の最初から要約の語数指定について、従来のsuggested length:90w～110wordsつまり「90～110語程度で書きなさい」というものから、完全なる語数指定beween 90 and 110words「90語～110語で書きなさい」と問題指示を変えたんですね。

だから、厳格に運用したんです。という言い分も成り立ちそうな気もします。しかし、それならなぜ今年度の第１回や第２回はそういう採点方法じゃなかったんだよ！！という文句も出てきているようです。

 

しかし、ここで違う話が持ち上がってきます。それがAI採点です。

どうやらSCBTなども開設して、受験でも頻繁に使い始められた英検が大量採点をこなすために、AI採点を一部導入しているようなんですね。

これ自体は、TOEFLなどもやっていますし、まあそういう時代の流れだと思います。人とAIでダブルチェックみたいな体制が一般には多いです。

実際、SCBTなどではAIの方が採点の主担当を担っているのかもしれません。そのせいで点数が従来型より厳しめに出やすいという噂もあります。

しかし、どうやら今回の従来型の採点は明らかに採点の様相がこれまでと違うぞと。

具体的には、語数指定外のものに問答無用の0点。Wパートの要約や英作の高得点者ほぼ皆無、ほとんどの人が要約では偶数点ばかりで奇数点数がほぼいない。

などおおよそこれまでの流れの中では起こりにくいことが起こっているようだと。

で、これは、かなりの確率でAI採点を今回の従来型の採点から以前より結構がっつりめに使い始めたということが推察されるわけですね。

そして、もしかしたら、少し仕様書にバグがあったのか、考慮漏れがあったのかもしれません。

 

この採点結果に対する問い合わせについては、英検側は、「問題ありません」の１点張り。

そして、そもそも再採点という制度がTOEFLやIELTSなどと違って存在していない英検にとって、この採点異常はなかなか認めにくいことなのかもしれません。

そして、AI採点をこれから強力に推し進めようとしているだろう英検協会側にとっては、そんな初期段階でのエラーは認められないことなのかもしれません。

 

 

 

でも、こんなことされると英検受けるモチベーションちょっと下がってしまいますね。ほんと。

英検には、国内主導で作られているテストとして、しっかり質を保って欲しいと願います。

やはりIELTSやTOEFLより手ごろに受けられる優良と思われるテストだと思うので。そこの根底が揺らいでしまうといろいろ難しくなってしまいます。

生徒が納得できる採点をしてくれれば、良くても悪くても次への向上につながっていきますので。

今回のアクシデントでトラウマみたいになってしまった受験者の方には本当に同情の念を禁じえません。

 

 

いやあ、なんだかミステリーみたいだったので書き過ぎました。

この忙しい時期に何をしているんだか。。。。

では。