"vertically" can be used if you are lining up something in 3D. For example, "I like to line up my photos vertically when I put them on my wall." In this case,『横』is "horizontally."
"from top to bottom" is convenient, you can use it to talk about something on a piece of paper, or objects lined up on a table that is placed in a line that starts far from you and ends close to you. In this case, 『横』is "from one side to the other side."
"in a column" is used to refer to a spreadsheet or list. In this case, 『横』is "row."
「縦」は英語でverticalかverticallyと言えます。「縦に」の場合にはverticallyと言います。以下のように使えます。
例：
He drew a vertical line on his sister’s drawing.
彼は妹の絵に縦の線を描きました。
The tables were lined up vertically against the wall.
テーブルは壁に縦に並んでいました。
She stacked the boxes up vertically.
彼女は箱を縦に積みました。
"○○を縦に並べる"というのは"line up ○○vertically"と言います。
例えば、
I want to line up those cups vertically.
このカップを縦に並べたいです。
反対語の"横"はhorizontallyと言います。
例えば、
Maybe you should line those cups horizontally.
このカップを横に並べたほうがいいかもしれない。
アメリカ合衆国 
日本 
ロシア連邦 
