周りを水田に囲まれた一段高くなった畑地で、いつの世にか北側中央に熊野権現がまつられていたので熊野堂と称されている。

居館跡の畑地は東西１００ｍ、南北１２０ｍあり、周囲にはかつて短冊形に、堀と推定される水田があった。内部には土塁がめぐっていたとみられるが、長い年月の間に削られ、北側にわずかにその痕跡が認められる。形式は那珂川町（旧小川町）神田城跡や現大田原市（旧黒羽町）枡型居館（ますがたきょかん）に似て、南北軸の長い典型的な「回字型（かいじがた）」の居館である。建物の配置等は未発掘のため不明である。

「吾妻鏡（あずまかがみ）」の建長（けんちょう）元年（１２５６）６月２日の条に、「奥の大道（東山道）に夜討強盗が蜂起しているので取り締まるよう」鎌倉幕府が街道筋の御家人達に指示したとあるが、その中に「葦野地頭」の名がみえる。

また、遺跡の形式からみて鎌倉時代初期のものであり、これらのことからこの居館は、葦野地頭家が主人公と考えられる。

鎌倉時代に幕府御家人である芦野氏による支配がこの地を中心に行われ、芦野の荘が開かれていたことを物語る非常に重要な史跡である。