本州・北海道・九州・四国を除く島々の総称って英語でなんて言うの？

"Japan's remote islands." を使いますと「遠隔」というニュアンスが強調されますので、一番遠く離れた島だけに使った方が良いと思います。

"Small islands around Japan."も間違ってませんが、確かに小さい島だけの意味合いとなります。

"outlying" や "peripheral" は中心から少し離れた、周辺、という意味になります。

archipelago は「諸島」なので、諸島をメインに表現したいならislandsの代わりに使っても良いです。

ご参考になれば幸いです。