Ein Teil des heutigen Mori Museum, welches 1966 seine Pforten öffnete, befindet sich im ehemaligen Hauptgebäude des Mori Clans. Dieses Hauptgebäude geht auf die Meiji- und Taishō Periode (zwischen Ende des 19. und Anfang 20. Jahrhundert) zurück von denen zwölf Bauelementstrukturen als wichtige Kulturgüter Japans gelten. Die dazugehörenden Gärten weisen das Prädikat "Orte landschaftlicher Schönheit" aus.