Amicizia con l'ex amante. Possibile se siamo attratti?

Buongiorno,
ho iniziato una storia con un amante molto più giovane quattro anni fa. È andata avanti un po', poi lui ha voluto fermarsi (sposata, con figli, ecc). Ha continuato a cercarmi tanto al telefono anche quando, alcuni mesi dopo, ha conosciuto una coetanea che ha deciso di sposare subito per via di una gravidanza capitata (poi non proseguita). Gli ho detto più volte di non chiamarmi più. Smesso qualche mese, poi ha ricominciato in modo sempre più assiduo, ogni giorno chiamate "intime da coppia". Sono capitate occasioni in cui ci siamo visti e abbiamo fatto l'amore. Per lavoro ogni tanto ci incrociamo al telefono o in presenza e con questa scusa mi riprende sempre. La moglie ha sempre sospettato di noi, ossessiva, lo controllava e lui non era tranquillo quando ci vedevamo, anche perché lei sentiva la distanza di lui dopo, in più lei non stava bene e fanno terapia di coppia già dai primi mesi di matrimonio.
Mi chiede di rimanere amici, uscire con i nostri coniugi così che accettino la nostra amicizia, non vedersi più di nascosto e per sesso. Impossibile, perché: io sono innamorata, eliminiamo il sesso ma non il desiderio (siamo molto attratti anche fisicamente) e non voglio e riesco a fare il teatrino. Anche mio marito sospetta.
Così sarei sempre dipendente da lui. Sto affrontando con mio marito la crisi del matrimonio e lui mi confonde di più. Ma lui insiste e mi convince ogni volta: sta male senza di me, non ce la fa, mi vuole nella sua vita, mi vuole tantissimo bene, non può perdermi. Dice di amare la moglie, allora perchè cerca altro fuori (non è una scappatella, ma un rapporto che dura da anni)? Lei è la scelta giusta per lui: giovane, del suo ambiente alto, ecc. Io no. Non dico che se non ama lei ama me, ma che ama solo se stesso...
Ora sono molto decisa a non voler tornare alla relazione che vuole, solo perchè ha paura di far saltare il matrimonio (suo).
Come comportarmi? Non riesco a dimenticarlo, lui si ostina a rimanere tenendomi a distanza. Amicizia? Ma c'è l'attrazione fisica ed è troppo confidenziale il nostro rapporto (ci manchiamo, ci chiamiamo appena inizia la giornata, durante e la sera se possiamo, ci confidiamo, ci prendiamo cura come possiamo, ecc). Perchè un uomo, che è in una coppia così fresca, dovrebbe cercare per anni (ANNI!) un'ex donna che non ama? Io lo voglio ancora e sempre per amore, lui per cosa? Possesso?
Può diventare questo rapporto un'amicizia come dice lui oppure ho ragione io che se c'è intimità, confidenza e intesa + attrazione fisica e passione non potrà mai esserla?
Grazie