あなたじゃなくて責任者の人と話したいんだけどって英語でなんて言うの？

"I'd like to speak with the person in charge--not you."

これは直訳になります。
相手を否定してしまうことになるので、かなりグサッと来るはずです。

また、よく聞くのは

"Let me speak with your manager."
(あなたの担当／マネージャーと話をさせて。)

などなど。
お電話ということで、

"Put your manager on."
(マネージャーに代わって。)

もいけます。

また、もうちょっと柔らかい印象が良いという場合、
冒頭に「Excuse me」・「Sorry」などを挿入しましょう。
↓
"Excuse me, but I'd like to talk with your manager."

責任者と話しをする、は、"talk to someone in charge"。
責任のとれる人と話しをする、は、talk with someone who can take responsibility"。
となり、あまりにひどい場合には、
I don't want to talk with you anymore. と述べ、上記の表現を使うとよいでしょう。