どういうシチュエーションで言っているかのかが不明ですが、下のような言い方ができるかなと思います。
Let's talk on the phone tonight but try to keep it short.
「今夜電話で話そう、でも短くしておこう。」
keep it short で「短くする・簡潔にする」
Let's have a quick chat but I can only talk for about 5 or 10 minutes.
「少し話をしよう。でも５〜10分くらいしか話せない。」
have a quick chat で「短いおしゃべりをする」という感じです。
ご参考まで！
I just wanted to talk with you briefly since there isn't much time.
Let's keep this phone call short for now.
ご質問ありがとうございます。
① "Let's talk for just a few minutes."＝「数分だけ一緒に話そう。」
② "I just wanted to talk with you briefly"＝「ほんのちょっと君と話したかった」
"since there isn't much time."＝「あまり時間がないので。」
③ "Let's keep this phone call short for now."＝「今のところ、この電話は短めにしておこう。」
ご参考までに。
カナダ 
アメリカ合衆国 
