AI（特にディープラーニング）の意思決定プロセスや予測の根拠が、人間にとって複雑すぎてブラックボックス（不透明）になってしまう問題。これにより、AIが出した結論の信頼性や公平性の検証が難しくなり、医療や金融などの重要分野での導入において、説明責任や安全性の観点から大きな課題となっています。
ブラックボックス問題とは
「ブラックボックス問題」とは、AI（人工知能）が特定の出力や予測を行った際、その意思決定に至る内部の計算プロセスが複雑すぎるために、人間が直感的に理解したり説明したりすることが困難になる課題のことです。
詳しく解説
近年のAI、特にディープラーニング（深層学習）は、数百万から数千億もの膨大なパラメータを相互に調整しながら学習を行います。この高度な多層ネットワーク構造により、AIは極めて高い精度で予測や分類を行えるようになりました。しかし、その代償として「なぜその結果に至ったのか」という具体的な推論プロセスを数式や論理で人間が解釈することが困難になっています。この不透明性は、単なる技術的課題にとどまらず、AIの決定に対する信頼性、公平性、そして法的・倫理的な「説明責任」を果たす上での大きな障壁となっています。
具体例・使われ方
例えば、医療画像診断AIが「がんの疑いあり」と判定した際、どの特徴量や画像のどの部分を根拠にそう判断したのかが医師に示されなければ、治療方針の決定に不安が残ります。また、ローンの審査AIが融資を拒絶した場合、どの項目が影響したのかを申請者に説明できないと、差別的なバイアスが排除されているかを監査できず、不利益を被る原因となります。
似た用語との違い
混同されやすい概念に「ホワイトボックス」があります。これは「決定木」や「線形回帰」などの機械学習モデルのように、数式やルールがシンプルで、人間が予測のプロセスや根拠を容易に解釈・説明できるモデルを指します。ブラックボックス問題は、このような解釈性と、ディープラーニングが持つ高い予測精度のトレードオフの関係において顕在化します。これに対処する技術として「説明可能なAI（XAI）」の研究が進められています。
注意点
注意点として、ブラックボックス問題があるからといって、そのAIの予測精度が低いわけではないという点です。むしろ精度自体は非常に高いことが多いですが、なぜその結果になったのかという「理由」が分からないことが問題視されています。また、この問題を完全に解決しようとしてシンプルなモデル（ホワイトボックス）に置き換えると、予測の精度や表現力が著しく低下するトレードオフが存在します。