Baumgarten liegt im Osten von Penzing, rund sieben Kilometer vom Stadtzentrum Wiens entfernt. Der tiefste Punkt liegt mit 198 m bei der Baumgartenstraße. Nach Norden hin steigt das Gelände an. Mit 339 m liegt beim Erholungsgebiet Steinhof auf der Baumgartner Höhe der höchste Punkt Baumgartens, der heute allerdings zur Katastralgemeinde Hütteldorf gehört. Das am Wienfluss stromaufwärts gelegene Oberbaumgarten grenzt demnach im Norden und Westen an Hütteldorf und im Süden an die Hietzinger Bezirksteile Hacking und Ober Sankt Veit. Östlich von Oberbaumgarten liegt Unterbaumgarten, das im Norden ebenfalls an Hütteldorf, im Nordosten an Breitensee, im Osten an den Bezirksteil Penzing und im Süden an Unter Sankt Veit in Hietzing grenzt. Die Katastralgemeinde Oberbaumgarten nimmt eine Fläche von 89,85 Hektar ein und Unterbaumgarten erstreckt sich über ein Gebiet von 102,21 Hektar, wovon drei Hektar jenseits des Wienflusses in Hietzing liegen. In der Schreibweise Ober-Baumgarten und Unter-Baumgarten existieren ferner zwei Zählbezirke der amtlichen Statistik, deren Grenzen jedoch nicht mit jenen der Katastralgemeinden ident sind. Der Zählbezirk Ober-Baumgarten besteht aus neun Zählsprengeln, der Zählbezirk Unter-Baumgarten aus zehn Zählsprengeln.
Baumgarten wurde erstmals um das Jahr 1195 unter dem Namen Pomerio erwähnt. Auf einer Urkunde wurde Herimanus de Pomerio als Zeuge genannt. Früher gab es hier hauptsächlich Ackerland, im höher gelegenen Norden Weingärten. 1645 forderte die Pestepidemie in Baumgarten zahlreiche Todesopfer. Bei der zweiten Wiener Türkenbelagerung 1683 wurde der Ort stark beschädigt. General Andreas Hadik errichtete 1779 im oberen Baumgarten ein Schloss, das im 19. Jahrhundert zu einem bekannten Casino werden sollte (Casino Baumgarten). Baumgarten wurde 1784 im Zuge der josephinischen Reformen von der Pfarre Penzing getrennt, wurde aber erst 1874 eine eigene Pfarre. Im Jahr 1804 wurde die albertinische Wasserleitung fertiggestellt, die erste mit weiträumig angelegtem Rohrnetz in der Geschichte der Wiener Wasserversorgung. Bis 1900 stand in der Linzer Straße 232 das Gemeindeamt von Baumgarten, heute steht dort eine Sonderschule. Der Ort wurde am 1. Jänner 1892 als Teil des neuen 13. Bezirks Hietzing nach Wien eingemeindet – gemeinsam mit Hütteldorf sowie Hietzing, Ober- und Unter Sankt Veit, Hacking, Lainz, Speising und Schönbrunn. 1894 wurden sieben Straßen in Baumgarten umbenannt, um Doppelbenennungen zu vermeiden. 1901 wurde in der Hütteldorfer Straße 188 die Kaiser-Franz-Joseph-Landwehrkaserne errichtet, die 1920 von der Stadt Wien erworben und in das Geriatriezentrum Baumgarten umgewandelt wurde. Nach dem Anschluss Österreichs an das Dritte Reich im Jahr 1938 wurde der Ort als Teil des neu geschaffenen Groß-Wien in den neuen 14. Bezirk Penzing eingegliedert. Bei schweren amerikanischen Bombenangriffen am 19. und 21. Februar 1945 trafen Bombenteppiche die Stadtbahn, die Westbahn und das Wohngebiet in deren Bereich. Auch nach dem Zweiten Weltkrieg verblieb der Bezirksteil bei Penzing. 1954 wurde der Hugo-Breitner-Hof errichtet. Die Pfarre Oberbaumgarten wurde 1966 gegründet und Baumgarten in Ober- und Unterbaumgarten geteilt
Auf der Baumgartner Höhe oberhalb von Baumgarten steht eine Lungenheilstätte und das von 1905 bis 1907 erbaute Psychiatrische Krankenhaus am Steinhof. Die von Otto Wagner entworfene Kirche am Steinhof ist eines der bedeutendsten Sakralbauwerke des Jugendstils. Die neuromanische Baumgartner Pfarrkirche am Gruschaplatz wurde Anfang des 20. Jahrhunderts erbaut. Als Beispiel für moderne Kirchenarchitektur gilt die von Johann Georg Gsteu entworfene und in den 1960er Jahren errichtete Oberbaumgartner Pfarrkirche. In der Linzer Straße 247 stand einst das Haus, in dem der österreichische Maler Gustav Klimt am 14. Juli 1862 geboren wurde. Dieses musste allerdings 1965 einer Wohnhausanlage weichen. Heute erinnert an dieser Stelle eine Gedenktafel an Klimt. Es werden bis heute viele alte Gebäude renoviert oder abgerissen und neue Bauten errichtet. Der 1786 errichtete Baumgartner Friedhof wurde in seiner jetzigen Form um 1885 auf der ehemaligen Weinriede Ober-Waidhausen (die Waidhausenstraße führt heute an ihm vorbei) neu angelegt.Der Festsaal des Casino Baumgarten und der Casinopark werden für zahlreiche Veranstaltungen genutzt.
Früher gab es in Baumgarten zahlreiche Fabriken, doch heute ist der Ort vorwiegend Wohngebiet. Die wichtigste Straße war und ist die Linzer Straße. Im Mittelalter hieß sie Poststraße, da über sie die Post nach Baumgarten, Hütteldorf und Hadersdorf geliefert wurde. Der Straßenzug der Hütteldorfer Straße führte bereits im Mittelalter parallel zur Linzer Straße, jedoch war die Hütteldorfer Straße bis 1880 völlig unverbaut. Baumgarten war lange Zeit ein Zeilendorf, es gab nur wenige Sackgassen zum Wienfluss. Erst nach der Eingemeindung 1892 wurden die bis dahin unverbauten Gebiete bebaut. So ist beispielsweise der Gruschaplatz in seiner heutigen Form erst 1912 errichtet worden und somit bis heute die letzte Nebenstraße der Linzer Straße in Baumgarten.
1878 wurde von der englischen Imperial-Continental-Gas-Association das Gaswerk Baumgarten errichtet, das bis 1912 in Betrieb war. An einem anderen Standort wurde 1932 von den Wiener Gaswerken der Gasometer Baumgarten gebaut. Dieser erfüllte bis 1983 seine Aufgabe. In der Nähe des Gasometers befand sich auch das Baumgartner Bad, das um 1995 geschlossen wurde.
Baumgarten wurde 1898 mit der Station Unter St. Veit-Baumgarten an die Wientallinie der Wiener Stadtbahn angeschlossen, die hier 1981 durch die U4 ersetzt wurde. Bis 1950 bestand die Haltestelle Baumgarten der Westbahn und Vorortelinie. 2005 kam es erstmals zum Einsatz von Niederflur-Straßenbahnen (ULF) auf der Linie 49, 2007 zusätzlich auf der Linie 52.
