That way of speaking could rub some people the wrong way.
言葉の使い方が他人の感情を害する可能性があるとき、「That way of speaking」という表現で「その言い方」と指摘します。「could rub some people the wrong way」と続けることで、「人によっては気分を害するかもしれない」という意味になります。
「rub ... the wrong way」というイディオムは、誰かを不快にさせることを表す際に使われます。さらに、「I didn't mean it. Please don't be upset.」（わざとじゃないよ。怒らないで）を加えると、言葉が誤解を招く意図がなかったことと、聞き手に怒らないでほしいという思いを伝えることができます。
Some people might be offended if you say it like that.
この場合、次のような言い方ができますよ。
ーSome people might be offended if you say it like that.
「そんな言い方したらカチンと来る人もいるよ」
to be offended で「カチンとくる」を表現できます。
to say ... like that で「そんな言い方をする」
ご参考まで！
アメリカ合衆国 
カナダ 
