Что делать?

Да он просто отыгрывается на вас, это такая игра «кошки-мышки», раньше вы порывались уйти, теперь он на вас отыгрывается. Не вижу других причин для такого поведения в такой ситуации (разве что походы налево, вам видней). Плохо это.

Не хочется Вас расстраивать, но для Вашего счастья желаю Вам расстаться с ним раз и навсегда, а если и придётся иметь к нему отношение, то игнорировать его, ведь он с Вами, как понял, повёл себя бесчестно — может быть, обманул, что до Вас хотел жениться, чтобы попорядочнее быть с Вами, часто ссорился, потом сблизился с целью повысить свой престиж во мнении общих знакомых о нём (быть рядом с Вами круглосуточно ради престижа было ему нелегко, с каждым днём всё труднее, от чего маленькая ссора сильно повлияла на расставание, ведь всякому человеку трудно интимно сближаться с нелюбимым человеком), он и теперь создаёт видимость своего неравнодушия (якобы от влюблённости) к Вам, переживая, что пропадает у него возможность иметь личную (эгоистичную, точнее сказать) выгоду от ведения любовных отношений с Вами. По всей видимости, он не любит Вас, не хочет на Вас жениться, но чем-то ему выгодно вести любовные отношения с Вами — наверное, не только для секса, но и престижного мнения о том, что он встречается с Вами. Полагаю, что могут бытьу Вас с ним и дальше проблемы по причине того, что проявляет он больше хитрости, чем любви («любовь одна, а подделок под неё тысячи»), поэтому желаю Вам с ним разойтись для полного счастья. Возвращать его — это значит возвращать его нелюбовь, притворство и прочие проблемы с ним, не делайте, пожалуйста, этого. Желаю счастья Вам с другим.