リトライスコープでHRESULTが発生します

[11159 (あ)]

IEからファイルをダウンロードするときに出てくる黄色のポップアップをクリックする部分で、動作が不安定になるのでリトライスコープを設定していますが、リトライ内で
HRESULT E FAIL が発生しました COMコンポーネットの呼び出しから返されました
と、表示されます。
この場合、何が原因と考えられるでしょうか？