He was buried perpendicularly, so he couldn't rest in peace.
He was buried standing up, so his soul could find no rest.
perpendicularly を使って言えなくもないですよ。
ーHe was buried perpendicularly, so he couldn't rest in peace.
「彼は縦に埋められたので、成仏できなかった」
次のように言った方が、もうちょっと自然な感じになります。
ーHe was buried standing up, so his soul could find no rest.
「彼は立てて埋められたので、成仏できなかった」
ーHe was buried straight up and down ...
「彼は上下に埋められた ...」
このようにも言えます。
ご参考まで！
カナダ 
