lower one's expectations で「期待値を下げる、期待を抑える」という意味です。
二番目の Let's not set our expectations high. は「期待を高くしないようにしよう」、
too high にすると「期待を高くし過ぎないようにしよう」ということになります。
We should not set our expectations (too) high.とも言えます。
「expectations」の他にも言い方があります。
★Let's keep the bar low.
★Let's set the bar low.
「the bar」は「この場合最上位を示す棒」と言う意味を持っていて、「期待値」と似たような意味合いです。
もちろん、逆に「Let's set the bar high」または「Let's keep the bar high」とも言えます(期待値を上げよう)。