Wie praktisch jede andere japanische Grossstadt hatte auch Takamatsu eine Burg, genannt Takamatsu-jō. Das besondere an dieser Befestigungsanlage war, dass sie unmittelbar an der Küste erbaut wurde. Die ursprüngliche Ausdehnung des Burgkomplexes mit welchem im Jahre 1587 begonnen wurde, war acht Mal grösser als heute. Gräben wurden gezogen und mit Meerwasser geflutet, so dass die Burg rundum geschützt war. Im Laufe der Zeit verfiel der Hauptbau leider zunehmend und wurde 1884 letztlich abgerissen. Heute ist das ehemalige Burggelände ein Park – der Tamamo-kōen.