異人館って英語でなんて言うの？

「異人館」は英語で次のように言うと良いでしょう。
ーresidences of early foreign settlers
「初期外国移住者の邸宅」

ーmansions that foreign residents lived in during the Meiji/Taisho era
「明治/大正時代に外国人居住者が住んだ館」

例：
I went to visit the residences of early foreign settlers in Kobe last weekend.
「先週末、神戸の異人館を訪れた」

ご参考まで！