機械学習におけるモデルの予測精度と解釈

Kuhn と Johnson は、著書『Applied Predictive Modeling』の中で、モデルの予測精度とモデルの解釈のトレードオフについて早い段階でコメントしています。

特定の問題について、このトレードオフを暗黙的ではなく明示的に行うことができるように、優先順位、精度、または説明可能性のどれが優先されるのかを明確に把握することが重要です。

この投稿では、この重要なトレードオフを発見し、検討します。

正確さと説明可能性

モデルのパフォーマンスは、目に見えないデータでのイベントの発生を予測する精度の観点から推定されます。より正確なモデルは、より価値のあるモデルとみなされます。

モデルの解釈可能性により、入力と出力の関係についての洞察が得られます。解釈されたモデルは、なぜ独立した特徴が依存する属性を予測するのかという疑問に答えることができます。

この問題は、モデルの精度が向上するにつれて、解釈可能性が犠牲になってモデルの複雑さも増すために発生します。

モデルの複雑さ

モデルの精度が高いほど、企業にとってより多くの機会、利益、時間、またはお金が得られます。そのため、予測精度が最適化されます。

精度の最適化は、追加のモデル パラメーター (およびそれらのパラメーターの調整に必要なリソース) の形でモデルの複雑さのさらなる増加につながります。

「残念ながら、最も強力な予測モデルは、通常、最も解釈しにくいものです。」

パラメータが少ないモデルは解釈しやすくなります。これは直感的です。線形回帰モデルには、入力特徴ごとの係数と切片項があります。たとえば、各用語を調べて、それらが出力にどのように寄与するかを理解できます。ロジスティック回帰に移行すると、出力への関数変換を犠牲にしてモデル化できる基礎的な関係に関して、より多くの力が得られますが、これも係数とともに理解する必要があります。

(適度なサイズの) 決定木は理解できるかもしれませんが、袋詰めされた決定木では、イベントの発生が予測される理由を解釈するために別の視点が必要です。さらに推し進めると、複数のモデルを最適化して単一の予測にブレンドすることは、有意義またはタイムリーな解釈を超える可能性があります。

正確性は説明可能性よりも優先される

クーンとジョンソンは著書の中で、解釈を犠牲にしてモデルの精度を重視しています。

彼らは次のようにコメントしています。

「複雑なモデルが適切に検証されている限り、予測パフォーマンスではなく解釈のために構築されたモデルを使用することは不適切である可能性があります。」

解釈はモデルの精度よりも重要であり、電子メールをスパムと非スパムに区別することや、住宅の評価などの例が、これに該当する問題の例として挙げられています。医療例については 2 回触れられていますが、どちらの場合も、モデルが適切に検証されている限り、説明可能性の正確さの絶対的な必要性と望ましさを擁護するために使用されています。

モデルが人命の損失をもたらす予測を行った場合、「しかし私はモデルを検証した」ということは、検死審理で弁明にはならないだろうと私は確信しています。それにもかかわらず、これが慎重な検討を必要とする重要な問題であるかどうかには疑問があります。

まとめ

問題をモデル化するときは常に、モデルの精度とモデルの解釈の間のトレードオフについて決定を下すことになります。

このトレードオフの知識を利用して、問題をモデル化する方法を選択し、結果を提示するときに目的を明確にすることができます。