ＪＲ久大線北山田駅から日田、久留米方面に向かって数十メートル、右側前方に耕地が広がり、集落が散在する。古くは魚返村と呼ばれた地域である。村の南側に玖珠川が流れ、筑後川随一の名瀑と言われた“魚返の滝”がある。十数丈の岩壁は明治の半ばまで、魚のここから上に上る事を阻んだ。この事象に由来して、魚返の地名が発生したものと思われる。村を東西に分けるように、中心地あたりを小高い山々が、南から北に向かって、次第に高さを加えながら南北の分水嶺高堂台地に連なる。その一番手前の頂き付近に今も城の台と呼ばれる城跡が残されている。鎌倉時代から戦国時代まで４００年、玖珠清原氏の流れを汲む魚返一族の長い歴史が刻まれた城跡である。
この城跡の麓に住む人達は一番手前の高台を神山と呼び、次の台地を城の台と呼んでいる。緑に囲まれた小高い丘も麓に近づけば、今も古老の人達が裏門と呼んでいる南側の一部だけがゆるやかな傾斜をなし、唯一の登り口となっている。他は容易に人を寄せ付けない険しさを持っている。城跡寄りの麓近くの平地に、居館、寺院、馬場跡などの地名が残されている。中世の典型的な「根小屋式山城」である。城そのものは独立した山の頂上ではなく、東北々西に備え、防衛に最大限の自然尾根続きを充分活用した山城である。特に東北方面に防備の中心が置かれ、いくつもの深い縦掘など見る事ができる。頂上付近の馬落としの地名や地形は、その最たるものである。しかもその山裾の高地には満々たる水をたたえた溜池が数個見られ、往古の横掘の残跡と思われる。
玖珠・角埋・松木城のように戦記が史料や伝承の上では少ないが、南北朝から戦国末期に至るまで、何度かこの玖珠においても城の攻防戦が行われている。この魚返城だけが例外ではあるまい。武将としてこの魚返一族が、玖珠清原氏の中心として大きな役割を常に果たして来た事は、大友史料などに見られる史実である。
ここから北に向かって杉塚越えの道は、日田の東北方面への最短距離であり、往古日田・筑後方面の玖珠に入る唯一の通路であり、幹道であったとも伝えられている。今も地名として残る魚返町は中世の殷賑を物語るもので、平穏な時期には日田、筑後方面に向かう旅人達や、また逆にその方面より豊後、豊前、日向路の旅人達が、険しい山岳地と平坦地の分岐の宿場として、坂の下町（四日市）と共に賑わいを見せていた。
（「玖珠川歴史散歩～玖珠郡史談会編～」より抜粋）