「つかの間」は
for a fleeting moment
passing moment
とよく言います。
fleet は「はかない・あっという間に過ぎ去る」という意味になります。
が、「ほっとしたのもつかの間」「喜んだのもつかの間」と言うなら下のように言うのが良いかなと思います。
I felt relieved for a short time until the next busload of tourists arrived.
「ほっとしたのもつかの間、次のバスいっぱいの観光客がやって来た。」
I was happy but it only lasted a moment.
「喜んだのもつかの間だった。」
ご参考になれば幸いです!