ご質問ありがとうございます。
「遊ぶ」はPlayです。そして、「〜で遊ぶ」はplay withです。「音楽」はmusicですので、「音楽で遊ぶ」を簡単にPlay With Musicに訳せます。大文字使っている理由としてはキャッチコピーですからね。
Have Fun With Musicも使えると思いますが、本当の意味は「楽しむ」(「遊ぶ」とそんなに違わないでしょうか)。
ご参考いただければ幸いです。
Play with music.
これは直訳にかなり近いですが、キャッチコピーとしては短くて印象に残りやすいです。
特に「音楽をまじめに勉強する」ではなく、
「もっと自由に楽しもう」
という感じが出ます。
例文
Play with music.
音楽で遊ぼう。
Let’s play with music.
音楽で遊ぼう。
Kids can learn by playing with music.
子どもたちは音楽で遊びながら学べます。