Rapporto tra padre e figlio di 3 anni

Buongiorno,
da pochi giorni è nato il mio secondo figlio e ha accentuato di più un lato conflittuale con il mio primo figlio di 3 anni e 3 mesi.
Da premettere che sono si la figura autorevole in casa, quindi capita di sgridarlo, ma non alzo mai un dito nei suoi confronti. Lo incito sempre a fare varie esperienze, cerco di aiutarlo a vincere le paure che ha e a complimentarmi con lui quando fa qualcosa di buono.
Giochiamo spesso insieme, ci abbracciamo, ridiamo insieme, scherziamo, ci divertiamo, la sera gli leggo le storie prima di dormire, ma poi succede, ad esempio, che all'improvviso scatta qualcosa in lui per cui vuole la mamma e solo lei per addormentarsi.
Non vuole darmi bacini, quando normalmente è molto affettuoso, dice che non mi vuole bene e che vuole solo la mamma.
Naturalmente di questo ne soffro.
È capitato, durante la gravidanza (era all'inizio e lui non lo sapeva) che si sia preso la "mani bocca piedi" e che l'abbia passata anche a me. Quindi non poteva stare a contatto con la mamma per evitarle il contagio, durante il giorno era normale, ma al momento di addormentarsi mi riempiva di parole tipo "non ti voglio bene", "voglio la mamma", "vai via", "non ti voglio" ecc.
Poi nel tempo la cosa si è un po' affievolita. Ora di nuovo, più forte che mai, questa sorta di rabbia nei miei confronti per cui non vuole darmi la buonanotte, nemmeno un bacio e mi dice che non mi vuole bene, quando, magari, dieci minuti prima rideva con me e giocavamo insieme.
Cosa devo fare quando ha questi momenti?
Io ne soffro molto e mi feriscono queste affermazioni.
Quando dice queste cose dovrei essere indifferente? Prendermela?
Mia moglie, quando si verifica questo atteggiamento, prova a farlo ragionare, ma inutilmente.
Poi tra me e sua nonna (mia madre) preferisce la nonna (la preferisce anche a mio padre).
Come devo comportarmi?
Grazie mille