La figlia della mia compagna a volte mi dice “vai via”…

Buonasera, la figlia della mia compagna ha 2 anni e mezzo. Vive in grande simbiosi con la madre da quando è nata; il padre è assente e si presenta una volta al mese tenendola uno, massimo due giorni.
Io mi sono inserito nel nucleo familiare di lei e la mamma per motivi di evidente circostanza e per grande amore nei confronti della madre.
Con la bambina abbiamo un bellissimo rapporto, spesso la tengo da solo quando la madre lavora, passiamo tempo insieme anche noi 3. Spesso la bambina dice alla madre che saremo noi tre insieme, spesso mi cerca quando non ci sono, chiede di me spesso quando si sveglia e quando la madre a volte le dice “sai che io per te ci sarò sempre” lei chiede e anche Carlo?
Ora, capita qualche volta ultimamente che la bambina, dopo che spesso mi chiedesse se dormivo con loro e se mi addormentavo con loro, chieda invece quando è ora di dormire se vado via, e se le si chiede vuoi che Carlo dorma con noi i va a casa, lei dice “a casa”.
Io ovviamente comprendo, ma ci resto male, non capisco questo altalenarsi di situazioni e sono dispiaciuto perché mi sento un po’ rifiutato. In momenti mi cerca ma quando non ci sono… come devo comportarmi? Che pensare?
Grazie