By doing things right, I feel left holding the bag.
「まじめに働く」は、do things right としましたが、work seriously でもいいと思います。
ここで言う「損してる」「バカみたい」は「バカを見る」という感じですね。
それに近いのが left holding the bag という慣用表現です。
これは、仲間と盗みに入ったのに、盗もうとした袋を持った人だけが捕まって、仲間は逃げてしまった状態からできた表現です。日本語の「貧乏くじ」もこれで言うことができます。
直訳すると自然な英語にならないので、意訳を提案します。
「I feel like a fool for taking this job seriously」。
（この仕事を真面目にしている私が馬鹿馬鹿しい）。
こう言えば質問者様の気持ちが上手くキャッチされるかと思います。
例文：
- A colleague of mine just sits on his phone at work all day. I feel like a fool for taking this job seriously.
日本 
イギリス 
