I don't remember how many times I've played, but not a lot.
I don't remember, but not a lot.
覚えていないけど、あまりないよ。
上記が会話としては自然なやりとりになると思います。
より直訳的に訳すなら
I don't remember how many times I've played, but not a lot.
Not oftenというフレーズも使えますが「頻繁にではない」という意味で習慣になるかならないかくらいの回数はやったことがあるという前提になってしまうのでシーンによって使い分けてみてください。