東京湾沿いに２つの貯水池がありますって英語でなんて言うの？

alongですね。イメージとしては、longのイメージから
「長い」→「まっすぐに線を引いたイメージ」→「その線に沿っていくイメージ」
→「それがくねくね曲がった曲線になっても、それに沿っていくイメージ」というのが、
alongです。

（これは、aroundとかも同じです。roundから派生した、と考えると、
　イメージがしやすいです）

そこから、along the riverなら川沿い、
along the coastなら海岸沿い、となります。

そこから、東京湾も湾の形の「線に沿っていくイメージ」で、
alongを使います。

ちなみに、他に挙げてくださった単語は以下の通りです。

by：側にあるイメージです。

nearby：nearが近くのイメージで、それにbyがくっついていますが、
　　　　「近くにあるイメージ」です。

alongside：→sideがくっついているので、「側にあるイメージ」です。

３つの英訳を挙げていますが、along がベストです！

なお、alongsideは、もっと小さい規模の場合に使われて、near / next to / close to / together with などと同じニュアンスになります。
e.g. I'll leave my bicycle alongside yours.
「あなたの自転車のすぐそばに私の自転車を置いていきます」

near は、必ずしも next to（～の隣に）の意味で使われるわけではありません。
close by（～の近くに）ということです。
ちなみに、nearbyは前置詞ではなく、形容詞・副詞なので、nearby the ...は文法的に誤りです。注意しましょう。

他にはこんな言い方も！
- There are two reservoirs parallel to Tokyo Bay.