私服という単語がないので、
my own clothes
私の服
や
regular clothes
普通の服(普段着)
のように使えばいいと思います。
今のバイト先は制服があるので私服に着替える手間があって面倒です。
I have to wear a uniform at my job so it's really a hassle to change back to my own clothes.
といった感じになるかと思います。
着替える時間も計算に入れて職場に着かなきゃいけないのも面倒ですよね(笑)
お役に立てれば幸いです!