Mio marito vuole avere rapporti sessuali a tre, come affrontare la situazione?

Salve,
siamo sposati da pochi mesi dopo una relazione di sei anni caratterizzata da molti periodi lontani visto che mio marito ha lavorato all'estero prima che io lo seguissi una volta sposati. Abbiamo avuto sempre un'ottima intesa sessuale dal primo momento e io non sono certo una donna con inibizioni particolari per quanto riguarda la sfera sessuale. Come per molti uomini mio marito ha espresso la sua fantasia di avere rapporti sessuali a tre con un'altra donna e io non ci ho trovato niente di strano o di umiliante, anzi la cosa mi ha anche stuzzicato. Ovviamente ci ha tenuto a precisare che non voleva far niente per minare il nostro rapporto e che comunque se io non volevo farlo non avrebbe più tirato in ballo la questione. Visto che io non mi sono opposta ma ero d'accordo nel fare questa cosa abbiamo avuto un rapporto a tre con una sua collega di lavoro e ci siamo visti già un paio di volte. Non sono una sciocca, so per certo che ne avevano parlato ma non mi sono soffermata sulla cosa, in fondo non mi interessava. In ogni caso dopo il nostro secondo incontro aveva detto che non era sicuro di volerlo rifare, diceva che tra noi due era diverso e che questo in fondo era solo un gioco. Di recente è stato fermato sotto casa, in mia presenza, da due ragazze invitate ad un party nell'appartamento accanto, loro non mi avevano vista. Dopo qualche giorno ha cominciato a chiacchierare chiedendomi se avrei voluto che le invitassimo da noi quella sera...ovviamente la cosa mi ha un po' colpita per così dire. Adesso sono passate un paio di settimane da quando ci siamo visti con la sua collega e credo che abbia intenzione di riorganizzare la cosa, ma la sta facendo passare come se la richiesta di vederci in tre venisse dall'altra ragazza. Insomma questa cosa mi infastidisce, non l'idea di rifarlo, in fondo è divertente, ma la frequenza e la poca chiarezza con cui adesso lo sta chiedendo mi danno fastidio e non so come impostare il discorso senza montarci un caso da inquisizione. Potrebbe essere che mi da fastidio perché credo che tra di loro ne abbiano parlato con più chiarezza di quanto lui faccia ora con me. Potrebbe anche essere che mi turba l'idea che in qualche modo è come se avesse il mio tacito accordo a stare anche con un'altra donna e che questo potrebbe col tempo portare a scappatelle nelle quali io non sono contemplata. Come gliene posso parlare senza creare un attrito? Non è che non ci dorma la notte, ma ogni tanto il pensiero mi tocca e quindi vorrei chiarire la questione, non amo avere la sensazione di qualcosa di non chiarito.
Grazie per l'aiuto.