Klasztor w spokojnych czasach zaś obrastał w bogactwo i jego siła na terenach okalających Gdańsk była znaczna. Duchowni czerpali zyski ze wsi i folwarków, otrzymywali opłaty z dzierżawy młynów oraz sprzedawali w karczmach piwo warzone w browarze oliwskim. Dzięki zakonowi i działalności klasztoru wokół niego rozwijało się rzemiosło rożnej maści. Duże znaczenie miał przy tym Potok Oliwski, gdzie zawsze tętniło życie w kuźniach, tartakach, młynach i innych warsztatach.
Spokój nie był jednak nigdy domeną tego miejsca. W marcu 1350 roku w wyniku nieszczęśliwego przypadku doszło do pożaru w wyniku którego doszczętnie spłonął kościół i klasztor. W ciągu kolejnych 5 lat kościół został odbudowany i przyjął gotycką formę, która zachowała swoje kształty po dzień dzisiejszy. Wtedy też większość środków na odbudowę przeznaczył Zakon Krzyżacki. Prawie 100 lat później miał miejsce najazd wojsk czeskich husytów sprzymierzonych z Polską przeciw Krzyżakom. W 1433 roku Husyci dokonali pokaźnych zniszczeń i spustoszyli Oliwę, zaś konwent oliwski schronił się w Gdańsku. Ponad 20 lat później doszło do wojny 13-letniej, która przyniosła ogromne zniszczenia wsi i folwarków klasztornych. W 1460 roku polskie oddziały zajęły opactwo i przekształciły je w obiekt militarny, gdzie stacjonowało około 600 żołnierzy. 6 lat później Krzyżacy utracili panowanie nad Pomorzem Gdańskim i tak dla klasztoru oliwskiego skończyły się problemy z zakonem.
W XVI wieku Gdańsk i Pomorze zaczęło zmieniać się pod wpływem reformacji, a idee luterańskie zyskiwały na popularności. Szlachta pomorska zaczęła wtedy żądać od cystersów, aby ci dołączyli do zakonów żebraczych i opuścili klasztor i żyli z jałmużny… oczywiście zawsze chodziło o pieniądze. Dochodziło do fali zamieszek i plądrowano kościoły katolickie. Za duchownymi stanął wtedy król Zygmunt zlecając wojewodzie Jerzemu Bażyńskiemu opiekę nad opactwem oliwskim. W 1540 roku nastąpiła jednak pewna zmiana, gdyż uchwalono, że klasztor ma płacić na szkolnictwo co oczywiście nie podobało się cystersom. Tego samego roku podjęto próbę przekazania dóbr klasztoru w Oliwie i Pelplinie biskupowi diecezjalnemu, ale duchowni mieli jednak na tyle silne wpływy u władzy, tak że król potwierdził ich stan posiadania. Trzeba nadmienić, iż w wyniku reformacji inne opactwa na pomorzu przestały istnieć.
Pamiętajmy, że Gdańsk wtedy był miastem protestanckim i pomimo, że znajdował się w obrębie Korony Królestwa Polskiego tak jego buńczuczny charakter sprawiał, iż dążył do niezależności. W 1569 roku Kacper Geszkau zajął stanowiska opata Oliwy. Jego celem było między innymi zjednoczenie Prus Królewskich i Gdańska z Koroną, a to się nie podobało gdańszczanom. Kilka lat później doszło do zbrojnych starć pomiędzy Stefanem Batorym, a stolicą Pomorza podczas których opactwo cystersów zostało dwukrotnie obrabowane z uwagi na fakt, iż stało po stronie króla. Geszkau uciekł wtedy z Oliwy, ale klasztor niestety spłonął. Był plan doszczętnego wyburzenia budynku, ale na czas przybyły wojska królewskie pod wodzą starosty Wejhera, które uratowały to co pozostało. Koniec końców strony konfliktu doszły do porozumienia i Gdańsk zobowiązał się do wypłacenia odszkodowania w wysokości 20 000 dukatów / i tym sposobem już w 1583 roku klasztor został odbudowany. Należy również dodać, iż w XVI i XVII wieku nad Potokiem Oliwskim znajdowało się około 23 zakładów przemysłowych. I nie ma się co dziwić, gdyż powyższe tereny były przepiękne i powstawały tu liczne rezydencje bogatych kupców. Jeszcze w połowie XVII wieku na trakcie z Oliwy do Strzyży, czyli obecna ul. Polanki powstawały dwory oliwskie.
W dniu 18 sierpnia 1594 roku ze Szwecji do Polski powrócił z koroną król Zygmunt III Waza. W Gdańsku przebywał prawie 2 tygodnie i pod koniec wizyty przybył również do Oliwy. Klasztor wtedy nabierał kolorytu dzięki wysiłkom ówczesnego przeora Filipa Adlera. Na początku XVII wieku budynki zakonu zostały otoczone murem obronnym, zaś dobra klasztorne zaczęto deponować w Gdańsku. Mniej więcej też w tym czasie w centralnej części oliwskiej wsi, naprzeciwko bramy klasztornej zbudowano wielką karczmę (Stary Rynek Oliwski 7). W dniu 10 lipca i 15 sierpnia 1626 roku Szwedzi dokonali grabieży na terenach opactwa. Przez kolejne lata panował w Oliwie spokój. Do czasu wybuchu wojny ze Szwecją w 1655 roku. Rok później wojska szwedzkie wkroczyły do klasztoru w Oliwie, ale szybko zostały wyparte przez oddziały z Gdańska. Wojna zakończyła się jednak dopiero w 1660 roku, zaś traktat pokojowy został podpisany w Oliwie i jest to chyba najbardziej znane wydarzenie w dziejach tego miejsca.
W 1734 roku podczas oblężenia Gdańska przez wojska saskie i rosyjskie budynki klasztorne w Oliwie cudem uniknęły zniszczeń, nie podzielając tym samym losu pobliskich młynów i dworów nad Potokiem Oliwskim czy też wioski Sopot. Po tych wydarzeniach zaczęły się trochę lepsze czasy co było związane z umiejętnym zarządzaniem przez opata Jacka Rybińskiego. Dzięki jego działaniom majątek klasztoru został pomnożony. Przebudowany został Pałac Opatów, ufundowane zostały wspaniałe organy oraz zainwestowane zostały fundusze w powstanie rokokowego parku, a także odnowiony został kościół św. Jakuba.
Po pierwszym rozbiorze Polski Oliwa trafiła w ręce państwa pruskiego. Wieś liczyła wtedy około 500 mieszkańców i znajdowało się tutaj 70 zabudowań. Wtedy też władze skonfiskowały majątek cystersów oraz została zlikwidowana administracja klasztorna. Powstało sołectwo oliwskie, a od 1804 siedzibą oliwskiego sołtysa stał się Dom Bramny. Oliwa głównie skupiała się wtedy wokół obecnych ulic Stary Rynek Oliwski oraz Kwietna.
Trzy lata później do Gdańska, a także i do Oliwy, wkroczyły wojska napoleońskie zaś na terenie klasztoru powstał lazaret. Napoleon odwiedził wtedy Oliwę oraz klasztor. Już 7 lat później władza w Gdańsku, a tym samym Oliwie ponownie się zmieniła i przeszła ponownie w ręce pruskie. Faktyczny koniec klasztoru w Oliwie miał miejsce w 1831 roku. Do tego czasu zakończyło się przyjmowanie nowicjuszy, a administrację opactwa przejęło państwo pruskie.
W między czasie, bo w 1822 roku powstała bita droga, która połączyła Oliwę z Gdańskiem. Niedługo potem powstały przy niej osiedla robotnicze. Domy były budowane zarówno wzdłuż głównego traktu czyli przy ul. Polanki, a także wzdłuż dzisiejszej ulicy Opata Rybińskiego. W 1837 roku na terenie Oliwy miały mieszkać 484 osoby, które głównie posługiwały się językiem polskim.
W 1864 roku do Oliwy została włączona wieś Polanki, Dolina Schwabego oraz Młyniec. W 1870 roku zaś, w Oliwie pojawiała się kolej, która połączyła to miejsce z Gdańskiem i Koszalinem, a tym samym zwiększył się napływ ludności pochodzenia niemieckiego. Jeszcze 10 lat wcześniej w Oliwie mieszkało około 2000 osób, by w 1900 roku prawie 6500 tysiąca. Pod koniec XIX wieku zostały wybrukowane główne ulice Oliwy tj. Opata Rybińskiego, Kwietna, Cystersów i droga do Jelitkowa. Zabudowa Oliwy w tym czasie zyskała na tempie. Oprócz wskazanych ulic zabudowane zostały ulice Obrońców Westerplatte, Polanki, Grunwaldzka, Poczty Gdańskiej czy Hołdu Pruskiego. Otwarta została linia tramwajowa, gdzie motorem napędowym były konie. Przetrwała jednak tylko 6 lat, czyli do 1879 roku, gdyż nie była opłacalna, a przyczyną była lepiej działająca kolej. Rok później na Pachołku został rozebrany nadgryziony zębem czasu punkt widokowy, a zastąpiła go murowana wieża z której można było oglądać pobliskie tereny.
W 1907 roku Oliwa zyskała dostęp do morza, gdyż w jej granice weszło Jelitkowo, Żabianka i Przymorze. Chwilę wcześniej, bo w 1901 roku doprowadzono do Oliwy tramwaje elektryczne, a 7 lat później linię przedłużono o Jelitkowo. Gdy w maju 1914 roku została wprowadzona numeracja linii tramwajowych ta z Gdańska do Oliwy miała numer 1. Cztery lata później powstały takie ulice jak Kaprów, Asnyka, Wita Stwosza czy Grottgera.
Ciekawą postacią w historii Oliwy był naczelnik gminy Herbert Creutzburg, którego również tytułowano burmistrzem. Wraz ze swoimi wspólnikami doprowadził do ruiny oliwską kasę gminną. Jako ciekawostkę można dodać, że ta znajdowała się w budynku obecnej poczty przy ulicy Stary Rynek Oliwski. Creutzburg chciał w szybkim tempie zarobić duże pieniądze i zwyczajnie nieumiejętnie je zainwestował. Konsekwencje dla Oliwy były jednak ogromne. Utraciła ona swoją samodzielność, zaś jej długi zostały pokryte z gdańskiego skarbca. W zamian terytoria Oliwy zostały włączone w jego obręb co miało miejsce w 1926 roku.
W pierwszych dniach II Wojny Światowej działacze polonijni w Oliwie zostali aresztowani, a władze niemieckie zakazały używania języka polskiego. Na terenie Dworu VII został utworzony obóz jeniecki dla żołnierzy radzieckich. W marcu 45 podczas walk został zniszczony Pałac Opacki, gdzie stacjonowała nieduża grupa żołnierzy niemieckich. Ci mieli plany wyburzenia katedry wraz z klasztorem, ale szczęśliwie te się nie powiodły. Jako strategiczne miejsce została zniszczona wieża widokowa na Pachołku, która nie ukrywajmy, ale mogłaby zostać wybudowana ponownie w formie przedwojennej. Wiele cennych przedmiotów zostało zrabowanych przez żołnierzy radzieckich lub zwyczajnie zostały zniszczone. Cywile, głównie pochodzenia niemieckiego byli zmuszeni w dużej mierze do opuszczenia domów, a ich miejsce zajęli nowo przybyli mieszkańcy przesiedleni z obszarów przedwojennej Polski. Przed wojną to miejsce liczyło około 18 tysięcy mieszkańców, zaś po wojnie równie szybko ta liczba została osiągnięta.