Come stare con un partner dal passato

Buongiorno, ho 45 anni e da circa due anni e mezzo ho una relazione con un uomo di 59. Ci siamo conosciuti al lavoro, entrambi avevamo altri partner all'epoca, per anni abbiamo avuto un (bellissimo) rapporto esclusivamente professionale finché ci siamo resi conto di provare qualcosa di diverso. Non è stato semplice... ma ora stiamo assieme e conviviamo da quasi due anni. Parlo di passato ingombrante perché non solo mi ritrovo un'ex moglie (ancora sono solo separati), ma anche un'altra ex nonché madre di suo figlio (che ha 21 anni) da dover "gestire". I rapporti tra lui e la mamma di suo figlio si limitano alla gestione, appunto, delle esigenze di questo ragazzo; loro vivono in un'altra città, io ho anche conosciuto questa donna e diciamo che su questo fronte, pur essendo consapevole dell'importanza che sempre avrà il figlio nella vita del mio compagno, le cose sono piuttosto tranquille. In realtà le cose appaiono tranquille anche sul fronte ex moglie, però... lui sembra sempre un po' reticente quando si parla del suo rapporto con lei, non l'abbiamo mai incontrata, nemmeno casualmente, in due anni e mezzo... Io mi fido di lui e so che non c'è nulla di più di un affetto verso questa persona, però a volte... mi vengono delle domande.
Mi ritengo una persona abbastanza risolta ma ogni tanto mi capita di chiedermi se una relazione con un uomo con tutto questo vissuto alle spalle faccia per me, se io sia in grado di affrontarla e di sostenerla... ci amiamo e siamo entrambi rifioriti dopo aver chiuso le nostre precedenti storie, ma la paura di non farcela, a volte, mi manda un po' in paranoia. Come posso superare questi momenti?
Grazie