少しだけ話そうって英語でなんて言うの？

どういうシチュエーションで言っているかのかが不明ですが、下のような言い方ができるかなと思います。

Let's talk on the phone tonight but try to keep it short.
「今夜電話で話そう、でも短くしておこう。」
keep it short で「短くする・簡潔にする」

Let's have a quick chat but I can only talk for about 5 or 10 minutes.
「少し話をしよう。でも５〜10分くらいしか話せない。」
have a quick chat で「短いおしゃべりをする」という感じです。

ご参考まで！

ご質問ありがとうございます。

①　"Let's talk for just a few minutes."＝「数分だけ一緒に話そう。」

②　"I just wanted to talk with you briefly"＝「ほんのちょっと君と話したかった」

"since there isn't much time."＝「あまり時間がないので。」

③　"Let's keep this phone call short for now."＝「今のところ、この電話は短めにしておこう。」

ご参考までに。