(1) Let’s go for a meal.
(2) Let’s go for a bite.
質問者さんの言う通り ’dinner’ に違和感を感じる場合
「晩飯(ばんめし)」のことを ’a meal’ や ‘a bite’ と呼ぶのもOKです。
また、(3) Let’s go grab something to eat for dinner.
のように ‘grab~’ を用いることで
「サクッと何か食べに行こう」「軽い夜食・めし」というニュアンスになり
’dinner’ のフォーマル感がなくなります。