V Trstu se je leta 1870 vključil v sekcijo nemško-avstrijskega planinskega društva za [[Primorska|Primorsko]]. Zahajal je v gore na [[Bovško|Bovškem]] in [[Gorenjska|Gorenjskem]].
[[Viljem Urbas]] ga je seznanil s [[slovenci|slovensko]] narodno [[pripovedka|pripovedko]] o [[Zlatorogu]] in drugim slovenskim [[bajeslovje|bajeslovjem]] ter [[narodopisje|narodopisjem]]. Dve leti pred Baumbachovim prihodom v Trst je [[DragotinKarel Dežman]] v ljubljanskem nemškem dnevniku ''[[Laibacher Zeitung]]'' objavil pripovedko o Zlatorogu, povzeto po nekem slovenskem pričevalcu. Ta je Baumbacha spodbudila, da se je lotil pesniške obdelave snovi. Med leti 1874 in 1875 je spesnil epsko-lirično pesnitev ''[[Zlatorog]]'' in jo maja 1877 izdal v [[Leipzig|Leipzigu]]. Ta in naslednje izdaje so bile do sredine tridesetih let natisnjene v več kot 110.000 izvodih, pesnitev pa je bila prevedena v angleški, italijanski, češki, srbski ter hrvaški jezik; z njo se je uveljavil kot pesnik. Baumbach je v ''Zlatoroga'' vnesel slovenski kolorit z avtohtonimi imeni krajev, ljudi, [[trentarji|trentarskih]] lovcev in pastirjev. Pripovedka, ki je dotlej živela le v ustnem izročilu [[bovčani|bovških]] pastirjev, je postala znana tudi v kulturnem svetu. Objavil je tudi nekaj prevodov [[France Prešeren|Prešernovih]] pesmi. Njegove pesmi so doživele več kot 300 uglasbitev.
Leta 1885 se je vrnil v Meiningen, kjer je bil imenovan za vojvodskega knjižničarja. Tam je ostal dvajset let, vse do svoje smrti.
