Die Ruine der Burg Velburg thront hoch oben auf dem Schlossberg.

Die dreieckige Anlage wurde im Dreißigjährigen Krieg (1618–1648) beschädigt und in der Folge abgetragen. Die Dächer wurden entfernt, mit ihren Steinen erweiterte man die Pfarrkirche im Ort und errichtete Privathäuser. Wann die Burg gebaut wurde, kann heute nicht mehr nachvollzogen werden. Sie wird im Jahr 1117 erstmals schriftlich erwähnt.  In der folgenden Zeit der Herrschaft des Herzogs von Bayern erfolgte etwa zwischen 1231 und 1285 die Gründung des Ortes Velburg im Schutze der Burg. Im Jahr 1450 ist die Burg abgebrannt und wurde komplett wiederaufgebaut.

Dank vorbildlicher Gemeinschaftsaktion der Velburger Vereine wurden in den 1980er Jahren die Ringmauer und ein Tor der Höhenburg gesichert, der Bergfried mit 12 m Höhe wieder hergestellt und damit ein herrlicher Aussichtspunkt geschaffen

Die Burgruine liegt auf dem östlich der Stadt aufragenden Schloss- oder Burgberg auf einer Höhe von 621,5 Meter N.N. zu sehen sind der auf zwölf Meter Höhe wieder hergestellte Bergfried, die nördliche Ringmauer in durchgehender Länge und Mauerteile auf der Ost- und Westseite. Die nahezu dreieckige Anlage misst in der Ausdehnung Nord-Süd 60 Meter, Ost-West 48 Meter.

Von der ehemaligen Burg, die 1117 erstmals genannt wird, gibt es keine Baunachrichten. Die stellenweise noch erhaltene Mauertechnik weist auf die spätromanische Zeit hin.

Erste Burgherren waren die Velburger, die 1110 - 1117 als Edle erscheinen und ab Mitte des 12. Jahrhunderts als Grafen von Velburg genannt werden. Letzter Besitzer der Velburg war Graf Ulrich von Velburg und Clam, dessen Großvater, Graf Hermann von Velburg, die Tochter Adelheid Walchuns von Machland-Clam in Österreich geheiratet hatte. Graf Ulrich fand 1217 in Ägypten den Tod. Mit ihm, dessen Ehe kinderlos geblieben war, starb das Geschlecht der Grafen von Velburg aus. Die Burg fiel an das Herzogtum Bayern. In der Folgezeit kam es zu häufigen Verpfändungen und Besitzerwechseln, die Verwaltung der Burg erfolgte durch herzogliche Richter oder Pfleger.

Um 1450 brannte die Burg ab, wurde aber wieder vollständig hergestellt.

Durch den Kölner Spruch 1505, der den bayerischen Erbfolgekrieg beendete, kam die Burg mit der inzwischen am Fuße des Burgberges entstandenen Stadt an das neugeschaffene Fürstentum Pfalz-Neuburg. 1507 wurde der Ritter Georg Wispeck für hervorragende Dienste im Erbfolgekrieg mit der Burg und Herrschaft Velburg belehnt. Nach dem Aussterben des Geschlechtes Wispeck 1574 fielen Burg und Stadt an Pfalz-Neuburg zurück. Bald danach siedelten die mit der Verwaltung betrauten Pfleger von der Burg in das von Hans Adam Wispeck in der Stadt erbaute Pflegehaus über, die Burg blieb unbewohnt.

Bei der Einnahme der Burg im Dreißigjährigen Krieg durch General Haßwerth 1633 wurde die Burg leicht beschädigt, jedoch nicht mehr instandgesetzt. Deren schnellen Verfall leitete die eigenmächtige Abtragung der Dächer durch den Pfleger Valentin Praun (1644-1650) ein. Auch die Schlosskapelle, dem Hl. Pankraz geweiht, verfiel.

1717-1721 wurden die Steine der Burg zur Erweiterung der Pfarrkirche verwendet und in der Folgezeit für den Bau von Privathäusern, nachdem hierzu mit "landesherrlichem Consens" die Erlaubnis erteilt wurde. 1793 erkaufte die Stadt Velburg die Burgruine und das Areal des öden Schlossberges im Ausmaße von 17 Hektar um 450 Gulden von der churfürstlichen Landesdirektion Neuburg.

Im Laufe des 20. Jahrhunderts gab es viele, leider erfolglose, Ansätze zur Sicherung und Erhaltung noch vorhandener Ruinenteile. Erst in den Jahren 1980 - 1986 erfolgte in einer vorbildlichen Gemeinschaftsaktion die Sicherung der Ruine in heutiger Form. Dabei wurde der fast verfallene Bergfried auf zwölf Meter Höhe wiederhergestellt und dient jetzt als vielbesuchter Aussichtspunkt. Weitere Mauersicherungen und teilweise Wiederherstellungen erfolgten in den Jahren 2003 - 2009.