備後一宮吉備津神社の南に広がる丘陵が櫻山城跡になります。
比高50mと高くはないものの、急峻に削られた切岸と各所に設けられている2重の空堀設けるなど、堅牢な構造になっています。
築城は定かではないが鎌倉時代に宮氏の一族もしくは、櫻山四郎入道慈俊によって築かれたものと思われます。

櫻山城は、太平記に登場する「櫻山四郎入道慈俊」の本拠地として名を馳せ、史跡一宮（桜山茲俊挙兵伝説地）として吉備津神社、鳶尾城とともに国の史跡に指定されています。
櫻山四郎入道慈俊馳せて宮氏の一族とみられ、元弘の役で後醍醐天皇に味方する際に、櫻山の性を名乗ったものと考えられています。
太平記では、吉備津神社、桜山城、亀寿山城、鳶尾城を中心として備後半国を従えるまで勢力を拡大したが、元弘元年同年九月には笠置山が落城し天皇が捕らえられ、同年10月に楠正成が籠った千早城などが陥落したとの誤報により兵が離散し、吉備津神社に放火して自刃して果てたといわれています。

『桜山朝臣詳伝』によると、桜山慈俊は北条党の山内奴可等と対し、安井村の本陣の三千、戸手の天王社八百の兵が夜明けから桜山城に攻め込み、慈俊は六百の城兵で敵が城に近づくのを待って、一斉にに狭間を開き、攻める敵兵の頭上に大木や大石を雨あられと落とすなど、激戦は昼過ぎまで続きました。
攻め手の被害が多いと見るや、城兵が打って出て乱戦となり、攻め手は神谷川を渡り一旦退くなど激戦ぶりが伝えられています。

明治の皇国史観が一世を風靡した時に、楠木正成と並ぶ南朝の忠臣として「四位」を追贈され、神仏分離により廃寺になった吉備津神社境内の神宮寺跡に「桜山神社」が建立されました。

櫻山四郎入道慈俊が自刃した後も、亀寿山城と共に宮惣領家の本城として使用され、向かう室町時代前期にあった備後宮内の合戦でも一年を超える籠城の後、期を見て足利直冬本陣に果敢に打って出て直冬党を壊滅させています。

櫻山城は吉備津神社の南にある標高81mの低丘陵頂部全体を、各所で二重の空堀で区切り、盛土と削平で切岸を造り城郭としたものです。
ほぼ中心となる場所に主郭が置かれ、東・西・北三方に延びる尾根を削平して、それぞれに郭を配置しています。

また、西側に伸びる尾根続きに鷲尾山城跡が、谷を挟んだ南には亀寿山城があり、一つの城郭のように一体で運用されていたものと考えられています。
この地は、吉備津神社と門前町を中核として、北の木曽丸城のある輪蔵の谷から御池を堀として、三方を山に囲まれ一方に開けた「城郭都市一宮」が考えられます。