Of course, there are other times that I come here.
It goes without saying that I come here for other reasons as well.
このシチュエーションの場合、次のような言い方ができます。
The reason why I come here is because there is a restaurant that I like.
「ここに来る理由は、好きなレストランがあるから。」
1) Of course, there are other times that I come here.
「もちろん、それ以外の時にも来ることはあるけど。」
of course で「もちろん」
other times で「それ以外の時」
2) It goes without saying that I come here for other reasons as well.
「他の理由でここに来ることももちろんあるけど。」
it goes without saying で「もちろんのことながら・言うまでもなく」
ご参考になれば幸いです！
日本 
