こんにちは！
ご質問ありがとうございます。
先のアンカーさんが回答されている通り、only five times は使える表現です。感じ方は人によって変わるかと思います。例えば、
I have stayed in the hotel only five times.
とすると、『そのホテルには5回しか泊まったことがない。』となりますが、ある人にとっては『同じホテルに5回も』と感じて、そこに違和感があったのかもしれませんね！
役に立ちそうな単語とフレーズ
only a few times 数回だけ
several times 2～3個より多いが、manyほどではない場合
参考になれば幸いです。
MASAさんの文は使える表現です。
"Only five times" 「5回しかない」
"I have only stayed in a hotel 5 times." や
"I have stayed in a hotel only 5 times." になります。
"only 5 times" は文の後に来るそれとも "only" は動詞(stayed)の前に置きます。
"Only on five occasions"
"times" の代わりに "occasions" も言えます。
"I have only stayed in a hotel on five occasions."
日本 
オーストラリア 
