I'd like to speak with the person in charge--not you
Let me speak with your manager.
"I'd like to speak with the person in charge--not you."
これは直訳になります。
相手を否定してしまうことになるので、かなりグサッと来るはずです。
また、よく聞くのは
"Let me speak with your manager."
(あなたの担当／マネージャーと話をさせて。)
などなど。
お電話ということで、
"Put your manager on."
(マネージャーに代わって。)
もいけます。
また、もうちょっと柔らかい印象が良いという場合、
冒頭に「Excuse me」・「Sorry」などを挿入しましょう。
↓
"Excuse me, but I'd like to talk with your manager."
I would like to talk to someone in charge. (Not you.)
Could I speak to a person in charge?
Would it be possible to talk with someone who can take responsibility on this issue?
責任者と話しをする、は、"talk to someone in charge"。
責任のとれる人と話しをする、は、talk with someone who can take responsibility"。
となり、あまりにひどい場合には、
I don't want to talk with you anymore. と述べ、上記の表現を使うとよいでしょう。
アメリカ合衆国 
日本 
