You always look so serious.
You always have a serious face.
どちらも「いつも真顔だよね」という意味です。
怖いことを指摘せずに、いつも真顔であることを伝えた上で、
Smile! や、
You should smile more.
というように笑うことを勧めた方が相手は嫌な気分にならないと思います。笑
「Your」→「あなたの」
「真顔」→「Serious face」、「Straight face」
「怖い」→「Scary」
「（あなたの）真顔が怖いよ」→「Your serious face is scary」
「You look scary when you're serious」→「まじめな時に顔が怖いよ」
「You look scary with a straight face」も、「あなたの真顔が怖い」という意味です。
どれでも使えます。
日本 
シンガポール 
