パラメーター重要度パネルを使用すると、どのハイパーパラメーターが望ましいメトリクス値を最もよく予測し、かつ強く相関しているかを把握できます。このパネルを使って、今後のハイパーパラメーター探索では、モデル性能に最も大きく影響するパラメーターに注力してください。Documentation Index
Fetch the complete documentation index at: https://wb-21fd5541-docs-2661.mintlify.app/llms.txt
Use this file to discover all available pages before exploring further.
val_loss) の線形相関を表します。相関が高い場合、ハイパーパラメーターの値が大きいほどメトリクスの値も大きくなり、その逆も成り立ちます。相関は有用なメトリクスですが、入力同士の二次的な相互作用は捉えられず、範囲の異なる入力を比較すると解釈が難しくなることがあります。
W&B は 重要度 メトリクスも計算します。W&B は、ハイパーパラメーターを入力、メトリクスをターゲット出力としてランダムフォレストをトレーニングし、そのランダムフォレストの特徴量重要度を報告します。
この手法は、Jeremy Howard との会話から着想を得たものです。Jeremy は Fast.ai で、ランダムフォレストの特徴量重要度を使ってハイパーパラメーター空間を探索する手法を切り開きました。この分析の背景にある意図について詳しくは、Fast.ai lesson 4 lecture と Fast.ai lesson 4 forum notes を参照してください。
ハイパーパラメーター重要度パネルは、強く相関したハイパーパラメーター間の複雑な相互作用を整理します。これにより、モデル性能の予測においてどのハイパーパラメーターが最も重要かを示し、ハイパーパラメーター探索をさらに適切に調整するのに役立ちます。
ハイパーパラメーター重要度パネルの作成
- W&B プロジェクトにアクセスします。
- Add panels ボタンをクリックします。
- CHARTS ドロップダウンを展開し、ドロップダウンから Parallel coordinates を選択します。
空のパネルが表示される場合は、runs がグループ化されていないことを確認してください
ハイパーパラメーター重要度パネルの見方
wandb.Run.config オブジェクトに渡されたすべてのパラメーターが表示されます。また、選択したモデルのメトリクス (この場合は val_loss) に対する、これらの設定パラメーターの特徴量重要度と相関が表示されます。
重要度
W&B では、重要度の計算に線形モデルではなく木ベースのモデルを使用します。木ベースのモデルのほうが、カテゴリカルデータと正規化されていないデータの両方に対してより強いためです。
epochs、learning_rate、batch_size、weight_decay が重要だったことがわかります。
相関
val_loss の間に関係があるかどうか、という問いに答えるものです (この場合、答えは「はい」です) 。相関値は -1 から 1 の範囲を取り、正の値は正の線形相関、負の値は負の線形相関、0 は相関がないことを表します。一般に、正負いずれの方向でも 0.7 を超える値は強い相関を示します。
このグラフを使用すると、メトリクスとの相関が高い値をさらに詳しく調べられます (この場合は、rmsprop や nadam ではなく、確率的勾配降下法または adam を選択したり、より多くのエポックでトレーニングしたりすることが考えられます) 。
- 相関は関連性を示す証拠ではありますが、必ずしも因果関係を示すものではありません。
- 相関は外れ値の影響を受けやすく、特に試したハイパーパラメーターのサンプル数が少ない場合、強い関係が中程度の関係に見えることがあります。
- 相関で捉えられるのは、ハイパーパラメーターとメトリクスの間の線形関係のみです。強い多項式的な関係は捉えられません。