AtCoderProblems icon indicating copy to clipboard operation
AtCoderProblems copied to clipboard

Difficulty V2

Open amylase opened this issue 2 years ago • 0 comments

概要: https://docs.google.com/presentation/d/1EM9Msl3NsztYGzRpulcCMKDHAD0uPDP7H1SbQYSZVzs/edit?usp=sharing

次の変更を行います。

  • 解答時間モデルでコンテスト時間による打ち切りを考慮するために生存時間分析する
  • 難易度の定義を「60分以内に50%の確率で解ける内部レーティング」に変更し、改善された解答時間モデルでこれを推定する

これにより以下の課題を解決できます。

  • コンテスト時間が違うことにより難易度の基準がずれる問題
  • 解答時間モデルが打ち切りを考慮していなかったことで推定値が小さくなる方向にバイアスがかかっていた問題

概要の資料では「直すつもりはない」としていたが issue を立てた理由について

  • issue を実際にやるやらないは別として、解決策が分かったのでしかるべき場所に少なくとも記録しておくべきだろうと思ったので。
  • Twitterで発表の感想を ~~監視~~ 調査していたら、意外と変えてもよいという意見があったので。
    • 会場にいたのはある程度強い人が多いのでサンプルとしては偏っているかもしれない
  • https://twitter.com/chokudai/status/1639956737099984896
    • 独立サービスを謳う AtCoder Problems が公式の人の意見を参考に実装を進めるのはやや違和感がありますが、chokudai さんは difficulty にまつわる誤解を解消するなどしてくださっているので。

関連 issues: #820, #821 これらの issues はコンテスト時間中に正解できなかった人たちの解答時間が分からずモデルが推定できないという課題を抱えていましたが、生存時間分析について勉強して解決策が分かったので、この issue を解決できれば同時に close できます。

amylase avatar Mar 26 '23 14:03 amylase