My dad's socks are usually stinky and to make matters worse, they smell like mold. It's makes me gag.
この場合、次のような言い方ができますよ。
ーMy dad's socks are usually stinky and to make matters worse, they smell like mold. It's makes me gag.
「お父さんの靴下は大抵臭い。その上悪いことに、カビの匂いもする。オエってなるよ」=「お父さんの靴下はただでさえ臭いのに、カビの匂いもする」
to make matters worse「その上悪いことには」を使って「ただでさえ」を表現できます。
ご参考まで!