その言い方だと人によってはカチンときます って英語でなんて言うの？

その言い方だと人によってはイラってきますね。
直訳すれば、人によってはそれはイラっとくる表現になりえます。

人によっては、をsome peopleで表すのが肝です。

言葉の使い方が他人の感情を害する可能性があるとき、「That way of speaking」という表現で「その言い方」と指摘します。「could rub some people the wrong way」と続けることで、「人によっては気分を害するかもしれない」という意味になります。

「rub ... the wrong way」というイディオムは、誰かを不快にさせることを表す際に使われます。さらに、「I didn't mean it. Please don't be upset.」（わざとじゃないよ。怒らないで）を加えると、言葉が誤解を招く意図がなかったことと、聞き手に怒らないでほしいという思いを伝えることができます。