この場合の「記憶が飛び飛び」は次のように言うと自然かと思います。
ーI only remember bits and pieces of it.
「断片的にしか覚えていない」
ーI only remember parts of it.
「部分的にしか覚えていない」
例:
I visited a lot of places during my trip, but I was really tired, so I only remember bits and pieces of it.
「旅行の間、たくさんの場所を訪れたけどすごく疲れていたので、断片的にしか覚えていない」
ご参考まで!