彼らの音楽は僕の気持ちに寄り添ったり感情を盛り上げたりする。
「寄り添う」という言葉は英語でto get close to/to cuddleになります。彼氏や彼女みたいな話で使います。
それで、大体特に誰かを特定します。例えばTheir music makes me want to cuddle with my boyfriend/girlfriend
具体的に誰かがいなければ、Their music makes me want to be close to someoneになります。
ご参考になれば幸いです。