I'm not trying to blame you, but just felt left out. That's all.
I'm not trying to blame you = あなたを攻めてるんじゃないよ。
but just felt left out = 仲間はずれになった感じがする
that's all = ただ
寂しい=feeling lonely
場面によって、あともう一言も言うといいと思います。
例えば、誕生日会に招待してくれてない場合、「I wish you had invited me. But let's hang out soon.」「招待して欲しかった。でも、また今度遊びましょう。」少しダイレクトな言い方ですが、素直に思っていることを伝えるのもいいと思います。
例えば約束をやぶられた場合は、「I'm not trying to blame you, but I was sad that you broke our promise.」
責めている訳でもないが、約束を破ったことについて少し寂しいです。