ご質問ありがとうございます。
「幸せの時」はtimes of happinessです。「辛い時」はtimes of difficultとかdifficult timesと言います。ですので、「幸せの時もあれば辛い時もある」はIf there are times of happiness, there are also difficult timesになります。
ups and downsはEma様の伝えたいことと同じニュアンスの表現です。
ご参考いただければ幸いです。
「
There are times I'm happy, but I have tough times too.
There are joyful moments in my life as well as difficult times.
この場合、次のような言い方ができますよ。
A: What's your life like?
「あなたの人生はどんな人生？」
B: There are times I'm happy, but I have tough times too.
「幸せな時もあるけど、辛い時もある」
または次のようにも言えます。
ーThere are joyful moments in my life as well as difficult times.
「幸せな時も困難な時もある」
ご参考まで！
アメリカ合衆国 
カナダ 
