そういう経験がないわけではないけど、とても少ない、ということを伝える時に
I can count on one hand the number of times I've ○○
を使えます。
直訳的に片手の指で数える（5回以下）という意味ですね。
例えば、
I can count on one hand the number of times I've worn a kimono
着物を着たことは数える程しかありません。
I can count the number of times I've had a fever on one hand
熱を出したのは数える程しかありません。
6～10回ならcould count on both hands the number of timesという表現もあります。
ご参考になれば幸いです！
こんにちは！
ご質問ありがとうございます。
ご質問について、いくつか言い方が考えられますが、例えば、
I have only worn a kimono a handful of times.
とすると、「着物を着たことは[数える程しか](https://eikaiwa.dmm.com/uknow/questions/98033/)ありません。」となります。
また、
I have only had a fever a handful of times.
とすると、「熱を出したのは数える程しかありません。」となります。
役に立ちそうな単語とフレーズ
a handful of times 数えるほどしかない
a few times 数回、数えるほど
very few times ごくわずか、ほとんどない
参考になれば幸いです。
アメリカ合衆国 
日本 
