Close the window at the top of the stairs on the right.
「階段あがってすぐ」は英語で言うとat the top of the stairsになります。
こちらのtopは「一番上」という意味になります。
on the rightは日本語で言うと「右側にある」という意味で、
at the top of the stairs on the rightは「階段あがってすぐ右にある」という意味になります。
「窓を閉めて」は英語で言うとclose the windowになります。
pleaseを使うと、文頭か文末どちらでも大丈夫です。
例えばPlease close the window at the top of the stairs on the right.になります。
Go up the stairs and close the window on the right.
Go to the top of the stairs and close the first window on your right.
お子さんへの指示とのことですので、次のような言い方ができると思います。
ーGo up the stairs and close the window on the right.
「階段上がって右の窓閉めてきて」
ーGo to the top of the stairs and close the first window on your right.
「階段上まで上がって、右側の最初の窓を閉めてきて」
ご参考まで！
アメリカ合衆国 
カナダ 
