Что делать?

Вами движут старые воспоминания и видимо неудовлетворённость текущей жизнью. Может просто привыкли или наскучило? Однако из таких вот внезапных старых отношений редко что-то получиться может хорошее. Скорее дров наломаете и с супругами отношения испортите. Вы любите своего мужа? Он любит свою жену? Если да, то бросьте всякие мысли о «вместе». Если нет, то как вы живёте тогда под одной крышей? Всем будет лучше, если вы ваши текущие отношения будете улучшать, а не ломать. Если конечно они не только на бумаге. А со старым другом пообщаться никто не запрещает. Однако только в формате «друг». Можно даже семьями встретиться например. Это может способствовать расставлению точек над «и».