多様化している中でも仲間外れが起きていて悲しい限りです。
少し違うだけで は just for being a little different と
表現しても良いでしょう。
仲間はずれは色々な言い方がありますが主に外れると言った意味で
out と言う単語が使われることが多いと思います。
後者の shut out は追い出されたと言う意味としても使えます。
Only the slightest difference and you're left out in the cold
歌詞に使うとのことですので、次のような言い方はどうでしょうか?
ーOnly the slightest difference and you're left out in the cold
「ほんの少しの違いであなたは仲間はずれ」
to be left out in the cold で「仲間外れにされる」と言えます。
ご参考まで!