「合わせて着る」というのは次のように表現できると思います。
ーIf you're going to wear a jacket to match your blue pants, you should wear a different colour.
「青のパンツに合わせてジャケットを着るなら、別の色にした方がいいよ。」
to wear ... that matches xxx で「xxxに合う…を着る」
ーYou should wear a jacket that goes with your pants, but it doesn't have to be the same colour.
「同じ色じゃなくていいから、パンツに合うジャケットを着なよ。」
to wear ... that goes with xxx で「xxxに合う…を着る」
ご参考まで!