「I can't remember when I stopped going to the pool」を提案しました。
「Going to the pool」 自体、プールに習慣的に行っている意味です(現在進行形を使うと、それが習慣的に行われているニュアンスになります。例えば「Playing football」とか「Going on dates」など)
もし、最後にいつプールに行ったか覚えていない事を英語にするなら「I can't remember the last time I went to a pool」になります。