距離構造の忠実性を、
公開コードで検証する。
予兆監視の実力は、再現可能な形で示せるか。
正解ジオメトリが既知の768次元合成データを使い、 7つの次元削減手法（PCA / Isomap / t-SNE / UMAP / PyMDE / PCC / toorPIA）が 高次元の距離構造をどれだけ忠実に2次元へ運べるかを、 距離バンド制限 Shepard ρ という共通指標で定量評価しました。 コード・仮説・全手法の出力座標をすべて GitHub で公開しており、誰でもオフラインで再計算できます。
7手法
同一条件で比較
5.2–6.4×
未知異常の分離距離（正常域半径比）
10/10
異常の発生源帰属
このベンチマークはtoorPIAの開発元自身が作成・維持しているものです。 だからこそ、結果が私たちの判断に依存しないよう、設計段階から透明性を最優先しました。
- 01評価指標はどの手法からも独立に、全ペア距離の上で厳密に計算
- 02仮説は結果を得る前に文書化し、リポジトリにコミット
- 03全手法の出力座標を公開 — すべての数値を第三者がオフラインで再計算可能
- 04信頼区間が重なる接戦では勝者を主張しない
リポジトリは MIT ライセンスで公開されています。
正常だけで地図を作り、
未知の異常を後から置く
異常を一切含まない正常データだけで基準マップを作成し、 そこへ未知の異常を1点ずつ追加プロット（addplot）する—— これは実験のための特殊な設定ではなく、予兆監視の運用そのものです。 異常は正常クラスタの特徴を共有しつつ、正常データが変動しない新しい次元方向へずれた点として合成されています。
▲ が追加投入された異常（色は発生源クラスタ）。PCA・Isomap・UMAP では異常が正常クラスタの中に埋もれるのに対し、 toorPIA では全異常が正常域のはっきり外側に、発生源クラスタの方向を指して配置されます。
t-SNE / PyMDE / PCC
学習後のマップに新しい点を置く out-of-sample 変換の仕組みを持たず、 この監視操作を実行すること自体ができません。
PCA / Isomap / UMAP
異常を配置できても、正常域からの距離は中央値で半径の0.96〜1.34倍。 つまり異常が正常データの中に埋もれ、検知の手がかりになりません。
toorPIA
すべての異常が正常域半径の5.2〜6.4倍の位置に分離され（シードによらず同一）、 その方向は発生源クラスタを指します（帰属 10/10、角度誤差 0.6°）。 「異常が起きた」と「どこ由来か」に同時に答えられる唯一の手法でした。
追加点×基準点ペアの高次元距離（横軸）と2次元距離（縦軸）。toorPIA のみ両者が単調に対応し、 異常ペア（黒）が最も遠い側に分かれます。
異常の強度（正常域半径比 1.5〜8倍）を変えたスイープ。異常を含むペアに限定した ρ（右）では toorPIA（黒）が全域で他手法を大きく引き離します。
監視の基準マップが、
作り直しても動かない
t-SNE や UMAP は乱数シードに依存する確率的手法で、同じデータでも実行のたびに配置が変わります。 toorPIA は完全に決定論的で、シードを変えても結果は同一—— 上の out-of-sample テストでも、異常の分離距離はシードによらず一致しました（run間のばらつきゼロ）。
確率的手法（t-SNE / UMAP など）
実行ごとに配置が変化
正常領域やしきい値の定義が再学習のたびにずれ、監視基準の再調整が必要になります。
toorPIA
シード間で結果が同一
基準マップ・正常領域・しきい値が固定でき、長期運用の監視システムとして扱えます。
外れ値の「距離」と「種類」を、
そのまま地図に残す
正常クラスタ群に3種類・計6個の外れ値（種類ごとに、ほぼ重複するペア）を混ぜたデータセットで、 外れ値を含むペアの距離がどれだけ正しく2次元へ運ばれるかを測りました。 toorPIA は同種の外れ値ペアを同じ方向（角度差10°以内）に保ち、 3種類の外れ値を空間的に別々の位置へ分離——「どれくらい異常か」と「どんな異常か」の両方を地図上に残します。
★ が正解の外れ値（色は異常の種類、a/b はほぼ重複するペア）。PCA・Isomap では外れ値がクラスタに埋もれ、 toorPIA では3種が別方向に分離しつつ a/b ペアが隣接します。
外れ値ペア限定 Shepard ρ（高いほど忠実）
外れ値を含むペアに限定した、高次元距離と2次元距離の順位相関（Outliers データセット、SNR=1）
クラスタIDで着色した全体像。toorPIA は5クラスタの相互配置を保ちつつ外れ値（青）を外側へ。
指標サマリー。全ペア Shepard ρ は toorPIA が 0.76 で最良。 近傍保存系の recall / trustworthiness では t-SNE・UMAP が高く出ます（下記「手法と限界」参照）。
データの95%が正常でも、
5%の少数派を潰さない
実際の監視データでは、興味のある状態（異常・過渡状態・レアイベント）は圧倒的少数です。 しかもその少数派が存在すること自体、事前には誰も知りません。 多数派95% vs 少数派5%の不均衡データで検証したところ、toorPIA は少数派の内部構造を保ったまま 多数派から分離して描き、全ペアの距離忠実度（Shepard ρ = 0.809）でも最良でした。
○ が多数派、△ が少数派。PCA は多数派クラスタ同士が重なって潰れ、t-SNE・UMAP は少数派を点状に圧縮。 toorPIA は多数派5クラスタの構造と、少数派の内部の広がりの両方を残します。
少数派比率を50%→5%まで下げるスイープ
少数派の割合を段階的に下げ、各手法がどこで破綻するかを追跡しました。 全ペアの Shepard ρ（左）では、不均衡が最も強い5%設定でも toorPIA が最高水準を維持します。
少数派を含むペアに限定した ρ（右）では PCA も高い値を保ちますが、 PCA は肝心の多数派クラスタ同士を重ねて潰しており（上のギャラリー参照）、地図としては使えません。 単一の指標だけでなく複数の観点を併記するのは、このベンチマークの設計方針です。
なにを測り、なにを測っていないか
本ベンチマークは、正解ジオメトリが既知の合成データセット5種 （非一様密度・密なクラスタ・連続遷移・外れ値・不均衡集団）の上で、 高次元の距離構造が2次元へどれだけ忠実に運ばれるかを測るものです。 中核指標の距離バンド制限 Shepard ρ は、距離のパーセンタイル帯ごとに高次元距離と2次元距離の順位相関を取るもので、 どの手法にも依存せず全ペア距離から直接計算されます。
一方で、近傍集合の再現率（recall@k）のようなk近傍保存の指標では t-SNE や UMAP が上位に来ます。 これは各手法が最適化している対象の違いであり、本ベンチマークも 「単一の数値で全体像は語れない」ことを前提に複数指標を併記しています。 局所的な近傍関係の再現が目的なら近傍法が適し、 距離・方向・少数構造を保った監視用の地図が目的なら toorPIA が適する——という整理です。
※ 結果はすべて合成データ上のものです。実データへの適用性は個々の案件で検証が必要です。 本リポジトリは toorPIA の開発元が維持しており、その前提で透明性策（仮説の事前文書化、 全手法の出力座標の公開、接戦で勝者を主張しない等）を講じています。 実験条件・指標定義・全数値は GitHub 上の README と REPORT を参照してください。
結果は、手元で再計算できます。
コード・データ生成スクリプト・全手法の出力座標を MIT ライセンスで公開しています。 予兆監視への適用のご相談は、お問い合わせからお気軽にどうぞ。
