inferiority complexという訳語はよく出ますね。
でもthat's just an inferiority complex so don't worry about itは通じないと思います。らに悪いことには、相手がイラっとするかもしれません。
「あなたはちゃんと感情を整理していない」みたいな感じです。
Maybe you're just letting things get to you. Don't worry about it too much.
はより優しい言い方です。
ご参考になれば幸いです！
アメリカ合衆国 
