01 / UNDERSTAND
仕組みと使いどころ
ECDFは、各値xに対して「観測値がx以下である割合」を返します。打ち切りのない標本では、観測値ごとに基本的に1／標本数ずつ上昇し、同じ値が複数あればその件数分だけ上昇します。データの分布や順位、しきい値以下の割合を、特定の確率分布を仮定せずに確認できます。ただし、得られる形は入力した標本に依存する推定結果であり、母集団の真の分布そのものではありません。右打ち切りデータにはKaplan–Meier推定量を利用できますが、SciPyの資料では他の打ち切り形式は未対応とされています。
02 / IN PRACTICE
Empirical Cumulative Distribution Functionの活用例
たとえば、こんな場面で
生成文同士のコサイン類似度についてECDFを反復回ごとに描き、重複判定のしきい値以下にある組み合わせの割合や、類似度分布がどちらへ移動したかを比較する用途が考えられます。
03 / GOOD TO KNOW
使うときのポイント
曲線を比較するときは、標本数、値の算出方法、対象範囲が同じかを確認します。ECDFの変化だけから、生成物の品質や多様性全体が改善したとは断定できません。
参考資料
scipy/scipy/stats/_survival.py at main · scipy/scipy （新しいタブで開きます）Synthetic Data Generation for Financial AI Research with NVIDIA NeMo | NVIDIA Technical Blog （新しいタブで開きます）用語の説明や活用例に関連する参考資料です。
READ & LEARN
記事一覧を見る 用語を知ったら、活用を知る。
AI LABで、AIの動向や業務に取り入れるヒントを読む。