You went a little too far. Next time could you drop me off a little further back from here??
「あなたが行ったところはちょっと遠すぎます。次回はここから少し戻ったところ(=手前)で降ろしてくれませんか?」と言うとよいと思います。ちなみに次回のお願いではなく、その場で少し引き返してもらいたいときは「Could you take me back over there a little?」(少しだけ戻ってもらえませんか?)と言えばよいでしょう。ご参考にしていただければ幸いです。