「I can't remember when I stopped going to the pool」を提案しました。
「Going to the pool」 自体、プールに習慣的に行っている意味です（現在進行形を使うと、それが習慣的に行われているニュアンスになります。例えば「Playing football」とか「Going on dates」など）
もし、最後にいつプールに行ったか覚えていない事を英語にするなら「I can't remember the last time I went to a pool」になります。
I can't remember when I stopped going to the pool.
I don't remember how long ago I stopped going to the pool.
この場合、次のような言い方ができますよ。
ーI can't remember when I stopped going to the pool.
「いつプールに行くのをやめたのか思い出せない」
ーI don't remember how long ago I stopped going to the pool.
「プールに行くのをやめたのがどれくらい前だったか思い出せない」
to stop going to the pool と言うことで、習慣的にプールに行っていたけど、行くのをやめたというニュアンスになります。
ご参考まで！
イギリス 
カナダ 
