この場合は次のような言い方ができますよ。
ーI don't really eat apples.
「あまりリンゴを食べない」
ーI don't eat apples all that often.
「そんなしょっちゅうリンゴを食べない」
ーI seldom eat apples.
「めったにリンゴを食べない」
例:
I don't really eat apples, not because I hate them, it's just because I don't really have the chance to eat them.
「あんまりリンゴを食べない。嫌いだからではなく、リンゴを食べる機会があまりないから」
ご参考まで!