この場合の「俺だけじゃないよ」は次のような言い方ができます。
ーI'm not the only one.
ーIt's not just me.
例:
Lots of other people think there is going to be another big earthquake in Japan soon. I'm not the only one who thinks this.
「多くの人がもうすぐ日本で別の大きな地震が起こると思っています。こう考えるのは俺だけじゃないよ」
ご参考まで!