Passato ingombrante

Buongiorno,
ho iniziato una relazione molto intensa quasi un anno fa, non mi piace parlare molto del mio passato soprattutto se riguarda persone/relazioni/frequentazioni che non hanno portato nulla alla mia vita, passeggere per questo motivo ho raccontato al mio partner il mio passato in modo anche superficiale, non dettagliato. A causa di fraintendimenti si è innescato ora un circolo vizioso. .. il mio compagno dice che sono bugiarda perché cambio versione/non dico la verità sul mio passato. Io ho detto assolutamente la verità e nello stesso tempo, dopo accuse ripetute, ho mentito ma sempre su qst del mio passato che non riguardano lui.
Il fatto che abbia detto ho visto una persona tre volte in tre mesi perché non eri interessata e successivamente salta fuori che non erano tre ma quattro/cinque volte cosa cambia? Per me non è importante,non ho un blocco dove segno le mie uscite.
Lui non riesce a capire questa cosa, stiamo creando un problema dove non c'è.
Non so più cosa fare? Ammesso che sotto accuse continue ho "mentito" su cose che per me non hanno importanza, perché continuare a pensare al passato.
Grazie