Im Mittelalter von einer Chiemgauer Adelsfamilie als Fluchtburg errichtet, ging Hartmannsberg im 12. Jahrhundert in den Besitz der Grafen von Falkenstein-Neuburg über und wurde zu deren Herrschafts- und Verwaltungszentrum im Chiemgau. Im 13. Jahrhundert wurde  die Befestigung dem Erdboden gleich gemacht, doch von den Wittelsbachern wieder aufgebaut.
Im 19. Jahrhundert diente das Schloss zeitweise aus Wirtshaus, später wurde es von Künstlern als Atelier genutzt.  1994 hat der Landkreis Rosenheim den Bau erworben. Schloss Hartmannsberg dient seither als Kulturstätte des Landkreises mit regelmäßigen Ausstellungen und Kammerkonzerten.