上記はどちらも「[最初](https://eikaiwa.dmm.com/uknow/questions/59413/)に」を表す表現です。ニュアンス的には「の方」も含んでいます。「の方」を強調するのであれば part(部分)を加えると良いでしょう。
例:
As I said in the beginning, I'm going to have to end early today.
最初に言った通り、[今日](https://eikaiwa.dmm.com/uknow/questions/36958/)ははやめに終わらないといけないんです。
Like it says in the beginning part of the textbook...
教科書の最初の方に書いてある通り…
I told you at the beginning that this was going to happen.
こうなるって最初に言ったでしょ。
I knew that it was going to turn out like this from the start.
結局こうなることは最初からわかっていた。
「最後の方」は in the end, at the end と言えます。in the end は「結局」とか「最終的に」のニュアンスもあるので、ただ単に「最後の方」と言いたいのであれば at the end をオススメします。
最初に=In the beginning
最後に= In the end
at the beginningとも言えます、ニュアンスとしては、atのほうが特定の箇所という感じです。In the beginningは話し始めの導入の表現で使うこともあります。
例えば、In the beginning, I want to say~.
というと、まず初めに、言いたいことは~ という意味になります。