英語では、「縦」はvertical、「横」はhorizontalと言います。そして「縦に」「横に」と、方向を表したいときは副詞形のverticallyとhorizontallyを使います。よって、「縦に書く」はwrite vertically、「横に書くは」write horizontallyと言います。
例文
日本でも大抵は、横に書く時は数字、縦に書く時は漢数字を使います。
In Japan, you generally use numbers when writing horizontally and kanji when writing vertically.
横に書くと字は綺麗けど、縦に書くとどうしてもバランスがおかしくなる。
I write neatly when I write horizontally, but when I write vertically, my balance is always off.