That was the only regrettable point about all of it.
この場合は次のように言うと良いですよ。
ーThat was the only point I was disappointed about.
「それは私が残念に思った唯一の点でした」
ーThat was the only regrettable point about all of it.
「それは全体で唯一残念だった点です」
ちなみに「ただ残念なだけです」なら次のように言います。
ーI was just disappointed.
ご参考まで!
ご質問ありがとうございます。
・「That was the only downside.」
(意味) それが唯一の残念な点でした
<例文>That was the only downside. Other than that, everything was perfect.
<訳>それが唯一の残念な点でした。それ以外は完璧でした。
参考になれば幸いです。