そういう経験がないわけではないけど、とても少ない、ということを伝える時に
I can count on one hand the number of times I've ○○
を使えます。
直訳的に片手の指で数える（5回以下）という意味ですね。
例えば、
I can count on one hand the number of times I've worn a kimono
着物を着たことは数える程しかありません。
I can count the number of times I've had a fever on one hand
熱を出したのは数える程しかありません。
6～10回ならcould count on both hands the number of timesという表現もあります。
ご参考になれば幸いです！
アメリカ合衆国 
