元々は甲州藩の下屋敷の庭園でしたが、宮内省管理の離宮を経て、東京都に下され都立公園として昭和21年(1946年)4月1日開園されました。
公園の広さは、250,165.81m2となります。
江戸幕府が開かれて暫くは将軍家の鷹狩の場であったのですが、承応3年(1654年)に甲府藩主、松平綱重がこの地を拝領し、埋め立てて別邸を建てることになります。
その後は甲府藩の下屋敷として使用されるのです。
このため甲府浜屋敷、海手屋敷と呼ばれます。
綱重の子である徳川家宣が6代将軍になり、将軍家の別邸とされ浜御殿と改称して大幅な改修が行われ、茶園、火薬所、庭園が整備されました。
幕末、外国人接待所として石造洋館である延遼館(幕府海軍伝習屯所)が建設され、延遼館は、明治維新後も鹿鳴館が完成するまでは迎賓館として使用されることになります。
明治維新後は、宮内省の管轄となり浜離宮と名称も改められます。
明治天皇も度々訪れ、明治12年(1879年)には、当時のドイツ皇太子フリードリヒや前アメリカ大統領であったユリシーズ・S・グラントが日本を訪問した際、明治天皇との謁見が行われました。
延遼館は、1889年に取り壊されてしまいます。
昭和20年(1945年)11月3日、GHQの要求により東京都に下賜され、昭和27年(1952年)旧浜離宮庭園として特別史跡・特別名勝に指定されることとなります。