Die Burg wurde zu Beginn des 14. Jahrhunderts von den Freiherren von Ramstein erbaut. Die Entstehung von Gilgenberg dürfte mit der Zerstörung von Schloss Ramstein bei Bretzwil im Jahre 1303 durch Basler zusammenhängen. Der Name Gilgenberg weist auf das Wappen der Ramsteiner hin, welches aus zwei gekreuzten Lilien- (= Ilgen-)stäben besteht. Das Bild der beiden Ilgen, von Zullwil als Gemeindewappen übernommen, symbolisiert denn auch die besondere Verbundenheit mit dem Schloss.

Bereits 1356 wurde Gilgenberg durch das Erdbeben in Basel stark beschädigt. Obwohl Rudolf von Ramstein das Schloss wieder aufbaute, zog er offenbar immer mehr das in Zwingen gelegene Wasserschloss als Wohnsitz vor. Auf Gilgenberg wurde ein Vogt eingesetzt, um die zur Herrschaft gehörenden Dörfer Zullwil, Meltingen, Nunningen sowie die Höfe von Fehren und Roderis zu verwalten. Nach dem Tode Rudolfs von Ramstein im Jahre 1459 erhielt sein unehelicher Sohn Hans Bernhard das Schloss. Er, der den Namen der Ramsteiner nicht tragen durfte, wurde zum ersten Ritter von Gilgenberg und schloss sich Solothurn an. 1474 fiel er bei Neuss im Dienste Karl des Kühnen. In der Folge trat sein Sohn Hans Imer das Erbe an und verkaufte im Jahre 1527 die ganze Herrschaft für 5900 Gulden an Solothurn. Von 1527 bis 1798 herrschten solothurnische Landvögte auf Gilgenberg. Brenzlig wurde es 1635, als die Schweden auf ihrem Raubzug bis nach Breitenbach (Schwedenschanze erinnert daran) und ins Roderis drangen. Die damals vom amtierenden Vogt zusammengezogene Armee musste glücklicherweise nie eingreifen.

Im Jahre 1798, beim Einfall der Franzosen, wurde Gilgenberg praktisch zerstört, indem die Einheimischen das Schloss in Brand steckten. Als zerfallene Ruine kam die Burg 1801 zum Preise von 15'008 Franken in neue Hände von Privatpersonen. 1836, gelangte die Gemeinde Zullwil in den Besitz des Grundstücks. Am 15. November 1935 wurde die Ruine unter kantonalen Denkmalschutz gestellt.
Schöne Aussicht ins Laufenthal und in die Region Thierstein.