I often speak directly to people with a smile on my face, but when people speak directly to me, I get offended.
この場合、次のような言い方ができますよ。
ーI often speak directly to people with a smile on my face, but when people speak directly to me, I get offended.
「笑顔でストレートにものを言うが、人にストレートに言われるとムッとする」
to speak directly「ストレートにものを言う」
to get offended「ムッとする・気分を害する」
ご参考まで!