頑張ったつもりだった。けど「つもり」じゃ駄目だったって英語でなんて言うの？

こちらの文章を直訳してもぎこちな英語になってしまいますが、この2パターンが一番近い表現です。「つもりじゃダメだった」ということは、自分が出したつもりだった努力が足りなかったということですよね？これは英語でnot enoughと表現できます。
ちょうど英語でMy best wasn't good enough（私の最大の努力が成功するには不十分だった）というフレーズが存在しますので、こちらを使えば自然に聞こえます。

I did my best, but my best wasn't good enough.
私の最大の努力を尽くしたが、（成功するには）不十分だった。

また、I didn't try hard enough（努力が足りなかった）という表現もあります。

I tried, but I didn't try hard enough.
努力はしたが、その努力が足りなかった。

おっしゃられている内容は、全然直訳とかではないのですが、このようにも表現できるかと思いました(^_^)
I thought I was doing my best, but now that I think about it, I could have done better.
「自分では全力を尽くしていると思っていた、でも、今から考えれば、もっとできたはずだった」

now that I think about it「今から考えれば」
could have done「できたはずだったのに」

以上です。
少しでも参考になれば幸いです(^_^)

★★大阪カフェレッスン英会話講師　KOGACHI