Что делать?

Плохая ситуация. Жену Вы получается не любите? Сложно судить тут. Надо просто честным быть, это всяко лучше чем врать столько. Три года, за это время всё можно было давно понять. Перед детьми Вы в любом случае в ответственности. Только зависит всё от того, как они это воспримут, ведь могут ведь и отвернуться. Что-то конкретное посоветовать тут нельзя, т. к. ситуация неоднозначная и слишком многое на кону. Понятно, что если уже три года встречались с любовницей, то отношения с женой никакие. Вот только не понятно, Вы говорите что она хотела чтобы Вы ушли к ней, а потом, говорите, что хотела уйти. Как то это всё нестабильно. Сегодня одно, завтра другое. Настоящие отношения так не работают. Точно так же как и с женой может всё развалиться. Вообще, тут первопричина в том, что брак неудачный был, если бы любили друг друга и не возникла бы ситуация и не искали бы никого на стороне. Ну это всё болтология, а в сухом остатке вот что.
1. Детям больно сделаете уходом своим, они не виноваты в том, что Вы нормальные отношения построить не смогли. Тут целиком на Вас ответственность.
2. Если жену не любите, то смысла в этих отношениях мало, только дети.
3. Нет гарантии, что с любовницей всё сложится удачно, это скорее способ уйти от отношений с женой, чем любовь, иначе Вы бы это поняли сами. Пока Вы вместе не жили, это не то же самое, что тайно встречаться.

Решение в любом случае Вам принимать. Будьте честны перед собой в первую очередь.

Никакой совет не поможет Вам реабилитироваться. Вы предали жену и культ семьи. Дети будут Вас любить в любом случае. При условии внимания с Вашей стороны к детям. Вы предали того, кто всё это время был рядом и помогал.