fc2ブログ

旧司法試験・合格基準点の読み方について

 旧司法試験の合格基準点に関する,黒猫とSchulze先生の論争に関し,第三者による以下のような記事が載っているのを知りました。

平成26年司法試験の結果について(4)
http://studyweb5.seesaa.net/article/405444489.html

 こちらのブログについては,ブログ名と思われるものが特に無く,ブログ主の実名はおろかハンドルネームらしきものも無く,一体どのような方が書かれているものなのか皆目見当がつかないのですが,司法試験の仕組みについては黒猫より前から詳細な研究をされている方のようです。何とも呼びようがないので,この記事では以下単にブログ氏とお呼びすることにします。
 ブログ氏は,黒猫が以前書いた「Schulze現象は存在するか?」という記事に対する批判として,要旨次のようなことを言われています。

(批判①)
 黒猫さんは、schulzeさんのいう「母集団の実力が均衡」の意味を、「同一科目で差が付かない状態」を意味すると誤解し、それならば得点調整によって一定のバラつきになり、調整後には差が付いてしまうから、むしろ逆の結論になる、と言っています。しかし、schulzeさんのいう「母集団の実力が均衡する」状態とは、同一科目内の均衡ではなく、ある科目で上位の人が、他の科目では上位を取れない結果、総合得点が均衡するという趣旨ですから、黒猫さんの反論は、反論になっていません。議論が噛み合っていないのです。

(批判②)
 それから、黒猫さんも、「全科目平均点の下落による上位陣の得点押下げ効果」を看過しています(※)。そのために、得点調整後の合格点をもって合格レベルをそのまま測ることができると考えてしまっているのですね。正確には、合格点から合格レベルを測ることができるのは、「全科目平均点の下落による上位陣の得点押下げ効果」が生じない場合、すなわち、「素点の標準偏差が配点率を超えていない場合」という条件付きだということです。末期の旧試験については、「全科目平均点の下落による上位陣の得点押下げ効果」が生じる場合ですから、黒猫さんの見解とは異なり、合格レベルは調整後の合格点から測ることはできない。その意味で、schulzeさんの疑問は当たっていた、というのが正しい理解です。

 以上2点について,現時点における黒猫の見解を述べておきたいと思います。

 まず批判①についてですが,論旨の骨格である「ある科目で上位の人が,他の科目では上位を取れない結果,総合得点が均衡する」状態が生じている場合,「素点の合計点は同じでも得点調整により調整後の総合得点が大幅に引き下げられてしまう」という統計上の現象が発生するか否かについて,黒猫も未だ確認はしていませんので,現時点における結論は留保せざるを得ません。
 ただし,少なくとも黒猫が読んだ限り,Schulze先生が具体的根拠に基づいてそのような主張をしている形跡はなく,上記のような現象が発生するというのはSchulze先生の見解ではなく,ブログ氏独自の見解ではないかと思われます。
 また,仮にそのような現象が存在するとしても,科目による得点のばらつきが大きい受験者が不利に扱われるのは,「裁判官,検察官又は弁護士になろうとする者に必要な学識及びその応用能力を有するかどうかを判定する」(司法試験法1条1項)という司法試験の趣旨に照らせば,むしろ当然ではないかという気がします。
 旧司法試験の論文試験は1科目40点満点でしたが,ここでは便宜上100点満点に置き換えて説明すると,例えば受験者Aは素点が憲法80点,民法40点,刑法60点受験者Bは素点が憲法60点,民法60点,刑法60点だったとします。この場合,素点の合計点はA,Bのいずれも180点,1科目平均60点ということになりますが,法曹となるために必要な学識及び応用能力を有するかという視点から見れば,Bの方が合格者に相応しいことは明らかです。
 つまり,旧司法試験は法曹となるために最低限必要と思われる基本科目について,最低限必要と思われる学識及び応用能力を有するか否かを判定する試験であり,その趣旨に照らせばどの科目も(旧試験時代の一般的な合格水準とみなされていた)60点かそれに近い点数を取っていることが望ましく,たとえ憲法の出来が著しく良くても民法の出来が相当に悪いという人は,法曹となるに必要な学識及び応用能力を有しているかどうか疑問が残ると言わざるを得ないのです。
 これが,例えば法律学者になるための試験であれば,おそらく受験者Aは受験者Bより優秀な憲法学者になれる可能性が高いでしょう。学者の世界は専攻分野別の縦割りですから,その専攻分野にさえ秀でていれば,専攻分野でない他の科目が苦手であってもさほど問題とされない世界です。
 しかし,実務家はそういうわけには行かず,憲法が得意な合格者であっても実際には民法関係の仕事をやらされる,商法が得意な合格者であっても実際には刑法関係の仕事をやらされる,といったことは珍しくありません。また,実務で問題になる法律上の論点は各科目の知識で自己完結するようなものばかりではなく,例えば民法と民事訴訟法の交錯領域,民法と刑法の交錯領域にまたがるような法律問題も少なくありません。
 そのような事情を考慮すれば,法曹実務家として必要な資質は,極端な不得意科目がない,もしくは不得意科目であっても最低限の得点は取れる,といった点が重視されるのがむしろ当然です。もちろん,得意科目について高得点を取れればそれに越したことはありませんが,ある科目で高得点を取ったからと言って,これによって他の科目で著しく低い得点を取っても容易に挽回できるというのは,資格試験としてあまり望ましい姿ではありません。
 ブログ氏の論旨を斟酌すると,例えば合格最低点が148点(丙案除く)であった平成9年の合格者は,例えば各科目ともコンスタントに65点か70点くらい取っている合格者が多い一方,合格最低点が133.75点であった平成18年の合格者は,例えば素点ベースだと憲法で90点くらい,民法では45点くらいといった科目別のばらつきが大きい人が多く,素点での合計点では平成9年の合格水準を上回っているのに,偏差値を加味した得点調整によって調整後の総合得点は平成9年より引き下げられている可能性がある,といった趣旨のことを言われたいのでしょう。
 もっとも,黒猫自身は現実の受験生・合格者に,上記のような傾向があったか否かを明確に断言する根拠を持ち合わせておらず,仮にそのような傾向があれば統計学上そのような現象が生じると言えるのか否かについても,明確に断言できるほどの統計学的見識を持ち合わせていません。
 平成11年合格者である黒猫自身の感覚としては,旧司法試験の合格者数が増えて論文の合格最低点が下がるにつれ,特定の科目で極端な才能を示す合格者が多くなったとはとても思えず,当時における旧司法試験の仕組みや予備校教育の実情を考えればむしろ最低ギリギリのラインで合格しようとする答案が多くなったのではないかという気もしますが,あいにくそれを示す具体的な証拠資料までは持ち合わせていないので,一応「そういう可能性も無くはない」くらいのことは言えるかも知れません。
 しかし,百歩譲って仮にそうであったとしても,科目ごとの素点に著しいばらつきがあり,得意科目はあっても極端な不得意科目のある合格者Aと,極端な得意科目はないがコンスタントに得点している合格者Bを比較した場合,仮に素点の合計点はAの方が多少上であったとしても,BよりAの方が法曹に適した資質を持っているとは必ずしも言えないというのが黒猫の率直な感想であり,結論としてブログ氏の主張には全く同意できません。

 次に批判②についてですが,黒猫自身は一般論として,「全科目平均点の下落による上位陣の得点押下げ効果」が無いとは言っていません。受験者層全体における得点のばらつき(統計上の分散)が大きいと,高い素点を取っても高い偏差値は取りにくくなり,偏差値的な要素を加味した司法試験の採点方法だと調整後の得点が伸びにくくなる現象があることは黒猫も確認しています。
 そして,新司法試験の上位層では,論文試験の調整後得点が100点満点換算で70点以上という人も若干名いるのに対し,予備試験では主席合格者でも調整後満点は100点満点換算で60点前後にとどまっていますが,これを捉えて予備試験合格者に優秀な人がいないなどという議論は黒猫も全くできないと考えています。
 理由としては,次の3つが挙げられます。
① 新司法試験と予備試験では,論文試験の問題に大きな違いがあること。
 最近は予備試験の問題も新司法試験の問題にやや近くなったと言われていますが,新司法試験は問題文が長くその中に解答のヒントが多く与えられているので,前提となる法律知識があやふやでも文章力次第ではそれなりの答案を書けてしまう可能性があるのに対し,予備試験では解答のヒントがあまりなく,前提となる法律知識が相当しっかりしていなければ手も足も出ないような問題が多い,という傾向を指摘することができます。
 そのため,論文対策の準備不足が原因で択一合格者なのに論文で壊滅的な点を取ってしまうというリスクは,新司法試験より予備試験の方がはるかに高く,論文試験における得点のばらつきは予備試験の方がはるかに大きいものと推測されます。

② 予備試験は科目数が多く,しかも受験対策の立てにくい科目が複数存在すること。
 新司法試験は基本7科目+選択1科目の計8科目ですが,予備試験は基本7科目に民事実務基礎,刑事実務基礎,一般教養を加えた実質10科目構成になっています。
 実務基礎科目は基本科目に対する横断的な理解を前提とするので教えにくく,過去問の蓄積もあまりないので受験対策も立てにくいといった特徴があり,実務感覚のない受験生が素点で高得点を取るのはかなり難しいのではないかと思われます。
 一般教養科目に至っては基本的に法律学ですらなく,一体どのような素養を判定しているのか現役の法律家にもよく分かりません。推進室では論文の一般教養科目は廃止すべきだという意見もあったようですが,廃止自体の是非に関する議論はここでは措くとしても,受験生としては非常に対策が立てにくくあまり高得点を望めない科目である可能性が高いでしょう。これら3科目が予備試験における論文全体の平均点を押し下げているであろうことは,黒猫としても想像に難くありません。

③ 新司法試験は,受験資格の制限により受験者の質がある程度均質化されていること。
 予備試験には受験資格の制限がなく,論文試験の受験者に共通しているのは「予備試験の択一に合格している」ことだけです。しかも,予備試験の択一は結構な難関であるため,受験生にはまず択一合格を目標とする勉強に重点を置き,論文試験の勉強があまり進んでいないという人も少なくないでしょう。そうした人が択一試験に間違って合格してしまい,それから慌てて論文試験の勉強を始めても本試験には到底間に合わず,論文試験で壊滅的な得点を取ってしまうという可能性も皆無ではありません。
 これに対し,新司法試験は法科大学院の修了者か,予備試験の最終合格者でなければ受験できない試験です。法科大学院修了者の中には到底「法務博士」の名に値しない成績下位層も一定数いるようですが,受験者層の大半は「定評のある」首都圏や関西圏の有力校を卒業した人ですから,法律の論文試験を全く経験していない受験者層は基本的にいないはずです。制度設計の建前論からは,むしろ「新司法試験なのになぜ最低ライン未満で落とされる人があんなに多いのか」を問題視しなければならないくらいです。

 このように,新司法試験と予備試験を比較すると,当然予備試験の方が素点のばらつきが大きいだろう,平均点も伸びにくいだろうと思われる要素が複数あるので,予備試験は新司法試験に比べて調整後の高得点が非常に取りにくい,だから最高点が満点の6割くらいであっても致し方のないことだという議論は十分成り立ちますし,黒猫自身も実際そのように考えています。
 もっとも,そうであっても合格最低点が100点満点中42点というのはもう少しどうにかならないものかという気はしますが,100点満点に換算した合格最低点が予備試験より新司法試験の方が多少上であるからと言って,予備試験合格者より新司法試験合格者の方が優秀だなどと主張する気は全くありませんし,実際そのように考える人はほとんどいないだろうと思います。

 これに対し,移行前の旧司法試験と,移行期の旧司法試験との間には,素点のばらつきに顕著な差が生じると推認される事情はあるでしょうか。
 法務省の資料によると,旧司法試験第二次試験の合格者数及び合格率は以下のように推移しています。

           合格者数   合格率  論文合格率
  平成 9年    746名  2.75%   13.4%
  平成10年    812名  2.66%   13.9%
  平成11年  1,000名  2.94%   18.1%
  平成12年    994名  2.75%   16.7%
  平成13年    990名  2.54%   15.1%
  平成14年  1,183名  2.59%   19.2%
  平成15年  1,170名  2.33%   17.1%
  平成16年  1,483名  2.97%   20.6%
  平成17年  1,464名  3.19%   19.0%
  平成18年    549名  1.53%   14.1%
  平成19年    248名  0.89%   11.2%
  平成20年    144名  0.65%    8.7%
  平成21年     92名  0.49%    6.3%
  平成22年     59名  0.37%    7.0%

※ 「合格者数」は最終合格者数,「合格率」は対出願者の最終合格率,「論文合格率」は対択一合格者の論文合格率を表しています。

 以上の数字から分かるとおり,平成18年以降の旧司法試験は新司法試験への移行に伴い合格者数が抑制され,最終合格率は平成19年以降1%を下回るという,とんでもない難関試験になっています。論文試験の合格率だけを見ても,平成10年と概ね同レベルにあると評価できる平成18年はともかく,平成19年以降は過去最低を更新する勢いで論文合格率が下がり続けています。
 論文試験の得点が,考査委員による採点格差を調整するため偏差値的手法が用いられていることに争いはありませんが,論文試験の得点分布が正規分布に従うと仮定するのであれば,合格率15%であれば概ね偏差値60以上の成績を取っていないと合格できない,合格率7%であれば概ね偏差値65以上の成績を取っていないと合格できない,ということになります。
 したがって,論文試験の評価に偏差値的手法が用いられている以上,仮に平成9年から平成22年まで一貫して論文試験の合格に必要な素点が同じであったならば,合格最低点は合格率の低下(合格に必要な偏差値の上昇)によって上がることになります。
 しかし,実際には合格に必要な偏差値が上昇に転じた平成18年以降も,合格最低点は平成16年,平成17年あたりのレベルから向上しておらず,むしろ下がっています。これは,単純に受験者全体のレベル(平均点)が,偏差値上昇分をかき消してなお余るほどの勢いで下がったものと考えるのが最も自然ではないかと思いますが,平成18年以降の論文試験について,平成17年以前にはなかった得点のばらつきを大きくさせる現象が生じていたというのであれば,それが原因ではないかという議論をすることも一応は可能です。

 もっとも,旧司法試験は平成18年以降もそれ以前も,受験資格の取り扱いに変更はなく,択一合格者の共通項は「第二次試験の受験資格がある(大学の教養課程修了者か第一次試験合格者)」「択一試験に合格した」の2つだけです。その択一試験も,平成18年以降は合格最低点が引き上げられており,論文受験者の質という面では,むしろ従来の受験者層よりは質の平準化が図られていると言えます。
 ブログ氏の指摘するように,成績上位層の素点があまり変なくても,従来論文試験を受けることができなかった成績下位層が大量に論文試験へ参入し平均点が大幅に下がれば,それにより上位層の調整後得点が伸びないということは理論上あり得ますが,平成18年以降の旧司法試験について,そのような成績下位層が大量に論文試験に参入してきたことを推認させる事実は見当たりません。
 ブログ氏の見解は,平成18年以降の論文受験者について「非常に高いレベルの層が固まっていた」とするSchulze先生の見解とは逆に,受験者の全科目平均点は大幅に下がったとしつつ,合格者の質は下がっていない(あるいは下がったか否かは全くの不明である)と主張されるご趣旨のようです。
 たしかに,移行期の旧司法試験は政府の合格者数抑制政策により人気が低下し,実力のある受験者層が抜けて論文受験者の全科目平均点が徐々に下がっていった可能性はあるものの,ブログ氏の言われるように,「合格した最上位層の素点は下がっていないのに得点調整で得点を下げられた」という現象が成立するには,「平成18年以降の旧司法試験では,従来なら択一すら合格しなかった低レベルの受験者がどしどし択一試験に合格し,論文試験で従来ならあり得ない低レベルの答案が大量に出てきた」ことが必要不可欠です。
 択一の合格最低点が上がっていた移行期の旧司法試験について,このような前提を立てるのはいかにも不自然かつ強引な議論というほかなく,しかも全体の質は下がっているのに合格した最上位層だけは従来どおりまたはそれ以上の質を維持している可能性というのは,「明日世界が滅びる可能性も無くはない」程度の可能性に過ぎないのではないかという気がします。
 移行期の旧司法試験合格者については,二回試験の不合格率が新司法試験合格者と同レベルか年によってはそれ以上の水準で推移しています。移行期の二回試験については,司法修習委員会で「二回試験で厳格な修了判定をすることは『プロセスによる法曹養成』の理念を損なうおそれがあるから,従来のように厳格な修了判定はしない」という趣旨の申し合わせがなされており,客観的には以前より合格しやすくなっているはずですが,それでも落ちた人が多いというのは,旧司法試験合格者の質も従前どおりとは行かなかったことが強く推認されます。
 もっとも,移行期の旧司法試験については,従来の試験から出題の傾向がやや変化しているほか,採点基準について論点別の配点が減らされ全体の「芸術点」的な評価の比重が上がるなどの改革が行われた形跡もあることから,合格最低点の比較という手法に一定の限界があることは黒猫も否定しません。
 しかし,だからと言って論文合格率の低下(合格に必要な偏差値の上昇)のみを根拠に合格者の質が上昇したと考えるのは明らかに誤りであり,論文合格率と明らかに矛盾する合格最低点の動向は,合格者の質を少なくともある程度は反映しているものと考えざるを得ないというのが黒猫の見解であり,ブログ氏の記事によってもこれを変更する必要性があるとは考えていません。

 平成に入って以降,司法試験制度の度重なる変更や合格者数の人為的な拡大が行われ,それによって司法試験合格者の質がどのように変化していったかは多くの法曹関係者が気にしている問題であり,それは法科大学院制度が崩壊した後どのような司法試験制度を構築すべきか(旧司法試験制度をベースにした新たな制度を作るとしても,いつの時代の旧司法試験を目標とするか)という議論にも繋がる重要な問題ですが,肝心の政府当局はなおも法科大学院制度に固執しているためか,この種の議論に有益な情報を積極的に出そうとはしません。
 そのため,黒猫のような在野の人間としては,法務省が公表している限られたデータからその動向を推測するしかなく,黒猫の書いた記事がきっかけで,合格者の質の変化について多くの人が見解を発信し,賛否両論含めて議論が深まることは,黒猫としてはむしろ歓迎すべきことですが,その際に留意すべきは,できる限り客観的なエビデンスに基づいて議論するということです。
 司法試験(旧試験,新試験を問わない)に合格した人は,ほとんどが自分たちの合格した世代を優秀だと言い張り,そのための理屈を一生懸命考えようとするでしょうが,ろくな根拠もなく「自分たちの合格した層は優秀だ」と言い張るだけでは,忌まわしき法科大学院の関係者が何の根拠もなく「法科大学院教育は素晴らしい」などと自画自賛する行動と本質的には何も変わりません。
 ブログ氏の見解は,Schulze先生と異なり一応理論上の裏付けがあることは評価しますが,実際にその現象が発生するには現実から相当かけ離れた前提を置かざるを得ないという難点があり,黒猫としては賛成し難いところです。
関連記事
スポンサーサイト



コメント

真試合格者

いつまでやるの
そうえいえば、黒猫は緑会で雑務していたような。まともに会話能力ないのに。
黒猫の現状みれば、11年合格は失敗だったと協力に推認できるんですが。よく、口頭試験合格でできたね。それぐらい、ザルっだったってことよ。
百の論より一つの証拠。

(匿名)

No title
ローマンセーの粘着ぶり
すごいね。
会話能力どころか日本語能力もないマンセーが、熱心だね。

(匿名)

事あるごとに「ローマンセー()」とか(笑)
黒猫の人間性が嫌い。
黒猫の方が粘着質すぎるよね。
上品ぶって聡明ぶってるけど、実際は下品で中身のないペラペラ野郎。

同じロー批判でもschulzeやタダスケの方がまだ好感を持てる。

(匿名)

No title
誰かが黒猫批判をすると即レスで「ローマンセー」とか書く奴がいるけど、一日中ここに粘着してるのかね?

24時間対応で粘着できるなんてよっぽどおヒマなんですねw
そんなに貼り付いていられるところを見るとやっぱり黒猫本人?

(匿名)

No title
粘着ぶりはローマンセーのほうが上でしょ?
法科大学院批判のエントリの直後のコメントが何時にどういう内容でされているか見れば一目瞭然

(匿名)

No title
誰か統計学の専門家呼んで来てよw

そうすれば、即解決でしょ

(匿名)

No title
大事なのは今

今優秀ならなんでもいいが、、、


過去の栄光にすがる精神障害児の喧嘩は

野良猫の喧嘩とかわらない


でもみてると優越感をあたえてくれるので


結論として、、、

もっとやれーって思うw

(匿名)

黒猫さん、今回は分が悪いんじゃない?

(匿名)

No title
>司法試験(旧試験,新試験を問わない)に合格した人は,ほとんどが自分たちの合格した世代を優秀だと言い張り,そのための理屈を一生懸命考えようとするでしょうが,

(^^;;

(匿名)

http://study.web5.jp/140925a.htm
また反論きてるよ
暇ならどうぞ

(匿名)

No title
黒猫先生

どうでもいいんじゃないですか?
あなたが試験委員でもないでしょうに。

(匿名)

No title
これよりも、文科省による補助金削減ランキングとか
取り上げるべき話題はあるように思われますが…
始めた以上終わるまで続けるしかないんでしょうね
非公開コメント

黒猫

FC2ブログへようこそ!