1) I don't care too much about the clothes I wear.
「着る服をあまり気にしない。」
I don't care too much で「あまり気にしない」という言い方。
2) I don't pay too much attention to what I wear.
「何を着るかにあまり注意を払わない。」
I don't pay too much attention で「あまり注意を払わない」=「あまり気にしない」とも言えると思います。
ご参考になれば幸いです!