L’observatoire a été établi en 1883 par Camille Flammarion, sur une ancienne maison érigée en 1730 par les Minimes de la Place Royale de Paris. Cette maison servait à l’origine d’hôtellerie destinée surtout aux relais de la poste. Les rois de France s’y arrêtaient dans leur voyage annuel de Paris à Fontainebleau. Après la Révolution, elle continue à servir comme relais de la poste mais plusieurs propriétaires s’y succèdent. C’est dans cette maison que le 30 mars 1814, Napoléon Bonaparte reçut la nouvelle de la capitulation de Paris et de la chute de l’empire.
En décembre 1882, Camille Flammarion reçoit cette propriété d’un de ses admirateurs,  Louis-Eugène Méret. Il la transforme en observatoire en ajoutant la coupole et l’équatorial construit sur le même type que celui de la tour ouest de l’Observatoire de Paris. Un paratonnerre fut installé sur la coupole en 1886. L’équatorial fut inauguré par l’empereur Don Pedro II du Brésil en 1887.
Au premier étage étaient les appartements. Au deuxième, l’observatoire. Des ateliers et des instruments scientifiques furent installés. Une bibliothèque composée de dix mille livres – dont plusieurs  datés du 15ème et 16ème siècles – occupait une grande partie du premier étage. Il y avait aussi un musée scientifique. Un cadran solaire placé près de l’entrée et incliné vers le Sud, indiquait le “temps vrai de Juvisy”. Ce cadran solaire existe toujours.
Sous la coupole on observait surtout les planètes, le soleil et des comètes. C’est ici que l’astronome Ferdinand Quénisset a découvert deux comètes et a photographié Pluton en mars 1930, peu après sa découverte par Clyde Tombaugh. Eugène Antoniadi, grand spécialiste de Mars, a travaillé ici pendant plusieurs années. Après la mort de Camille Flammarion en 1925, sa deuxième épouse, Gabrielle, prend la direction de l’observatoire jusqu’à sa mort en 1962.  L’observatoire est ensuite légué par testament à la SAF.
À l’exception de la partie haute, de sa coupole et de sa lunette astronomique qui ont été restaurées récemment, le bâtiment principal est très dégradé. L’édifice nécessite une restauration importante afin de pouvoir à nouveau héberger la collection scientifique de Flammarion. C’est le grand projet qu’a entrepris de mener à bien la SAF dans les années qui viennent et qui nécessite le concours de nombreux partenaires. Néanmoins, la coupole et la lunette sont accessibles et des séances d’observation sont organisées régulièrement.