mi sto innamorando di un uomo sposato

Buonasera,
ci tengo a sottolineare che in questo particolare momento della mia vita la relazione che sto vivendo da sei mesi con quest'uomo è per me ideale.
Mi sono separata tre anni fa, ho due bambini ancora piccoli e sono ancora troppo delusa dalle relazioni "standard" per desiderare di averne una.
Io e quest'uomo ci siamo piaciuti immediatamente e da sei mesi ci vediamo una volta alla settimana, salvo rari imprevisti.
Ultimamente però sto notando una sorta di allontanamento da parte sua, e glie l'ho fatto notare. Pur essendo sempre presente ai nostri appuntamenti, dove stiamo benissimo sia dal punto di vista sessuale che dal punto di vista emotivo, ha cominciato a ridurre i "contatti" con me.
La sua risposta è stata "sono già intrappolato in una relazione con una donna che non amo, non voglio intrappolarmi anche con te"
Può essere che sia semplice timore il suo? Lui dice di non essere innamorato, ma i fatti dicono il contrario...soprattutto quando riusciamo a stare insieme.
Gli ho chiesto se volesse che me ne andassi...mi ha detto di no,ma che comunque non vuole pressioni.
Ho paura che sparisca gradatamente senza trovare il coraggio di dirmi come stanno le cose, proprio come ha fatto mio marito tre anni fa.
Come dovrei comportarmi?
Ripeto, la situazione così com'è mi sta benissimo e non gli chiederei mai di lasciare la sua famiglia per me.
Devo dargli spazio o è evidente che sta andando via e quindi rassegnarmi?