I didn't have to work (at my part-time job) today.
I was off work today.
英語では、アルバイトであっても「仕事が休みだった」というのが自然です。
なので at my part-time job は言う必要はありませんが、言いたい場合は、次の言い方ができます。
ーI didn't have to work (at my part-time job) today.
「今日はバイトが休みだった」
ーI was off work today.
「今日は仕事が休みだった」
このように簡単に言っても問題ありません。
ご参考まで!