芦野の町並の西南、旧奥州道中が芦野の宿に入る手前の地区を西坂という。その地域の南に位置する険しい岩肌が聳（そび）える山頂を中心に館山山城跡がある。

この山城は、芦野凝灰岩の山頂を削って築いたもので、空掘を廻らし、東方は芦野凝灰岩の絶壁とその下を流れる菖浦川を天然の掘とし、南北は深い谷となっており、大規模ではないがきわめて堅固な造りとなっている。

築城年代は明らかではないが、「芦野小誌」によると足利将軍四代義持の頃〔応永年間（１３９４～１４２８）〕、熊野堂（芦野氏居館跡）から移ったといわれている。しかし、それ以前の芦野氏居館時代に、すでに戦時等の要害として用いられていたとも考えられる。義持の時代は、時勢の変化で全国的に山城が築かれる時代であり、芦野氏も時代の流れに即応し、天然の要害を利用した堅固な山城に居館を移したと考えられる。

芦野氏は那須七騎の一つとして、三番目の城となる芦野氏陣屋を築く室町期から戦国あるいは安土桃山期まで、この山城を拠点として活躍したのである。