Invadenza padre della mia compagna..

Buongiorno , mi trovo qui a chiedere un consiglio su come gestire una situazione per me diventata inaccettabile .
Sin dall'inizio della conoscenza con la mia attuale compagna(9 mesi) c'era la presenza dell'ex nonché padre della loro figlia di 5 anni oltre quelle che secondo me dovrebbero essere dinamiche diverse senza cambiare nonostante sono 5 mesi di convivenza ..
Nei giorni (martedì e giovedì) prende la figlia e sovente capita che per sua comodità si ferma qualche ora prima di andare via a casa nostra, assumendo degli atteggiamenti confidenziali del tipo: apre il frigo magia ciò che trova si sdraia sul divano fa un po' come se fosse a casa sua fregandosene che da 5 mesi in quella casa vivo anche io ..
ieri sono rientrato alle 18 a casa e mi sono ritrovato lui per l'ennesima volta sul divano senza scarpe che stava giocando con la figlia .
Il 24 a cena ho dovuto accettare la sua presenza a casa di mia cognata , nonostante per me fosse la prima volta che mi ritrovavano con suoceri cugini fratelli nipoti della mia attuale compagna ..
Preciso che di cio l' sono venuto a conoscenza il giorno prima perché mia suocera si è sentita di invitarlo il 23 dicembre in quanto fosse solo perché da 20 giorni si era lasciato.
Lei si è accorta di aver fatto qualcosa che non avrebbe dovuto contattando la figlia valutando assieme se potesse essere una situazione che potenzialmente avresse potuto creare a me imbarazzo ..ovviamente ho espresso il mio disappunto per ovvie ragioni ma comunque ho chiesto solo alla mia compagna di non farmi sentire fuori luogo e di tenermi al centro dell'attenzione parlando di cose che potevo partecipare anch'io.
Detto fatto !! Discorsi che non conoscevo, per cui 4 ore di silenzio nelle quali avrei voluto solo sparire ..ma nonostante il mio enorme imbarazzo sono rimasto lì in silenzio ...
Lei si è accorte di questo mio silenzio l'ha infastidita ...ovviamente il giorno dopo nessuna parola in merito..
Il 26 mattino prendo coraggio e gliene parlo ..
La sua risposta ? Quello è il padre di mia figlia ci sarà sempre !
Preciso che non è per un fastidio legato alla gelosia ma semplicemente a una non accettazione di volere condividere luoghi (casa) e feste ricorrenze personali con persone che non dovrebbero centrare più nulla ..
Oggi sto valutando di andar via in silenzio perche questa situazione mia sta divorando !! Grazie