Časté cestování, cizí prostředí, bez mámy - ano či ne?

Dobrý den, potřebuji znát názor odborníka. Mám syna 6 měsíců. Žiji s ním sama. S otcem dítěte jsme se rozešli už v době těhotenství. O syna se zajímá tím, že jej navštěvuje jednou za týden na dvě hodinky večer, pohraje si s ním, občas jdou ven a občas i koupe. Teď by si prý rád začal brát syna k sobě na víkend jednou za 14 dní. Je to však daleko (asi 200km) a já sama neznám ani přesnou adresu. Navrhovala jsem, že může uvedené víkendy trávit s ním u nás, to odmítl. Osobně mám pocit, že syn je na tohle ještě moc malý, není na něj zvyklý a navíc bude sám v cizím prostředí. Máme své rituály, které partner nemůže znát. Nechci mu brát právo být se svým tátou, ale na druhou stranu ho nechci vystavovat pravidelným stavům úzkosti, že neví kde je a co se s ním děje. Je to pro mě těžké a partner je neústupný. Jak tohle prožívá půlroční dítě? Jak máme postupovat?