I wish I had... や I should have... という表現があります。
I wish I had... は「〜しておけばよかった」なのに対し、I should have... は「〜すべきだった」の細かなニュアンスの違いはありますが、実際あまり変わらないのでお好きな方を使うと良いと思います。
例:
I wish I had studied yesterday.
昨日勉強しておけばよかったなぁ。
I should have studied yesterday.
昨日勉強するべきだった。
The dress I wanted was sold out, I should've bought it yesterday.
欲しかったドレス売り切れてた、昨日買っておくべきだった。
「~すべきだった(のにしなかった)」
という時には
I should have+過去分詞
で表現できますよ。
I should have bought it.
それを買うべきだった(のに買わなかった)。
I should have studied yesterday.
昨日勉強するべきだった(のにしなかった)。