はじめに

機械学習の文脈における実験管理とは、分析に用いるデータや分析手法、分析手法に関するパラメータなどの情報を整理し、管理することを指します。 他にも、分析を行った環境や評価に用いた指標などの情報も実験管理の対象であり、非常に多くの情報を管理する必要があります（※実験管理の対象を「メタデータ」と表現することもあります）。 ステークホルダーと実験を共有することで、機械学習モデルの開発に対して何が起こっているかを正確に知る事ができ、新しい改善へのアイデアの発見が容易になるため、データ分析において実験管理は非常に重要です。

本記事では、特に、データのバージョニング、AI モデルのハイパーパラメータに焦点を当てて実験管理について説明します。

機械学習における実験管理とは

実験管理とは、実験の詳細な内容や予測結果などを記録し、それらの結果を評価、比較、最適化するために整理して管理することです。 特に AI モデルを用いた実験は、学習データやハイパーパラメータ、モデルなどの様々な実験が考えられ、その実験ごとに結果が異なります。

実験管理を行うことで、実験の再現性を確保し、またモデルやパラメータの最適性を比較し評価できます。

実験管理を行う具体的なメリットは以下のようなものが挙げられます。

• 実験の追跡と管理
  AI モデルのハイパーパラメータやデータの分割方法などの詳細な情報や実験の結果を整理することで、後で再現性を確保し、またモデルやパラメータの最適性を比較し評価できます。
• モデルやハイパーパラメータの調整
  異なるモデルや異なるハイパーパラメータを持つ AI モデルの実験結果の比較ができます。
• チーム内の共有
  実験管理を確認することで、チーム内のメンバーが行った実験の詳細や結果を迅速に把握できます。

詳細な情報をチーム内で意味のある形で共有することで、分析のコラボレーションを加速させ、データ分析の効率を向上させることができます。

データのバージョニングの管理

分析の対象であるデータ自身のバージョニングを行っていない場合はどうなるでしょうか？ 実際のプロジェクトでは、分析可能なデータが最初から全て揃っていることは稀であり、データの収集や前処理によりデータが変化することがよくあります。

例えば、データの収集方法が変わった、ラベルが誤っていた、欠如していたデータが実は発見された、などの理由でデータが変化することがあります。 （他にも、データ収集基盤に依らずに、分析フェーズに依って使用可能なデータの承認がおり、追加で利用可能なデータが増えることもあります）。

分析に用いるデータが変化すれば、分析のフロー自体を変化していなくても得られる分析結果は異なる可能性があります。

よって、コード、ハイパラ、実験環境、メトリックスなど、ほぼすべてのバージョン管理をしていても、結局はデータ管理をしていないと予期しない結果に悩まされる事はよくあります。

ハイパーパラメータの管理

分析に関するフローは全てハイパーパラメータです。例えば、どういった機械学習のモデルを利用するのか、またそのモデルで設定可能なパラメータやどの粒度でモデルを更新するのか、学習率は何か、分析フローにおける前処理、分析フローそのものなど非常に多岐にわたります。

ハイパーパラメータの追跡に失敗すると、そのハイパラを探したり、モデルを再学習したりするのに数週間の無駄が発生する場合があるため、関連するパラメータを可能な限りログとして記録をしておくことが重要です。

参考文献

• Machine Learning Experiment Management: How to Organize Your Model Development Process - neptune.ai