The restaurant was not neat, to say the most, but the dishes were superb.
「控えめに言っても」という意味の to say the least と同様に、
「最大限に良く言っても、ひいき目に見ても」は to say the most があります。
ご質問に含まれる「きれいな」は、おそらく neat（きちんとした、小ぎれいな）程度だと思いますが、実際に言いたい意味（beautiful、cleanなど）があればそれを使ってください。
「味は格別だった」は、料理は素晴らしかった。という英語にしています。
"The restaurant was, to put it mildly, not very pretty, but the taste was exceptional."
'To put it mildly'は直訳すると「穏やかに言えば」となり、「はっきり言って」「言葉を選んで言うと」などのニュアンスを含んでいます。これは日本語の「お世辞にも～とは言えない」と類似の感じで使われます。
このフレーズの後に 'not very pretty'（あまりきれいではない）が続くことで、「お世辞にもきれいとは言えない」という意味合いを表現できます。
そして文の終わりには、'but the taste was exceptional'（しかし味は格別だった）と続けることで、最初の否定的な評価に続く肯定的な印象を示す構造になっています。
日本 
アメリカ合衆国 
