ご質問ありがとうございます。
「いや、そこじゃないだろ」はこの場合に英語で言いますと「Nah, it's not like that」がいいと思います。
「No, that's not the point.」も言えます。「そういう意味じゃないよ」みたいな感じですね。
「Nah, it's not like that」は「いやそうじゃないよ」みたいです。
「いや、どう考えてもそこじゃないだろ」は英語で
「No, no matter how you think of it, it's not like that」でいいと思います。
役に立てば幸いです。