Non so lasciar perdere un ragazzo a causa della mia famiglia

Salve,
Purtroppo mi trovo in una situazione un po’ spiacevole. Frequento un ragazzo che lavora nelle forze dell’ordine, lui è una bellissima persona e insieme stiamo veramente bene. Il problema principale è che io provengo ahimè da una famiglia alquanto problematica: mio padre è stato in carcere per dei reati anche abbastanza gravi, e anche l’attuale marito di mia mamma ha avuto problemi con la legge, problemi non gravi come mio padre, ma anche lui è stato arrestato in passato per meno di un anno, prima che conoscesse mia mamma. Per quanto riguarda queste situazioni, io ne sono totalmente estranea, non sono cresciuta con mio padre per ovvie ragioni e ahimè non ho avuto neanche tempo di conoscerlo perché poi è deceduto. Io studio, lavoro e sono una persona molto onesta, mi ritengo una brava ragazza insomma e anche questo ragazzo ha visto in me delle belle qualità. Il problema principale è che lui è ignaro di tutte queste problematiche che ha la mia famiglia, io non gliene ho mai parlato e mi sento anche in colpa a causa di questa cosa. A me sembra che lui ci tenga alle sue apparenze, pertanto non so se lasciar perdere perché ho paura che lui mi dia una delusione dicendomi che non vorrebbe mai essere associato a me, che ho una famiglia così o che con il passare del tempo, sia la sua famiglia a pensarla in questo modo.
Cosa mi consigliate di fare? Io fatico molto ad aprirmi in merito a questi argomenti perché ho paura di un giudizio, non so se allontanarmi e lasciar stare direttamente ma questa cosa mi fa stare male perché io ci tengo a lui.
Spero di ricevere una risposta.
Grazie mille,
Cordiali saluti