勿論違う時もあるけどって英語でなんて言うの？

このシチュエーションの場合、次のような言い方ができます。

The reason why I come here is because there is a restaurant that I like.
「ここに来る理由は、好きなレストランがあるから。」

1) Of course, there are other times that I come here.
「もちろん、それ以外の時にも来ることはあるけど。」
of course で「もちろん」
other times で「それ以外の時」

2) It goes without saying that I come here for other reasons as well.
「他の理由でここに来ることももちろんあるけど。」
it goes without saying で「もちろんのことながら・言うまでもなく」

ご参考になれば幸いです！