Что делать?

Из Вашего вопроса не понятно, была ли эта мимолётная связь изменой Вашему парню, или она была до того, как Вы стали встречаться.
Если измена — то тут всё остаётся на решение парню. Сможет ли он простить и жить с этим. Не все могут. Я бы не смог и не захотел бы.
Если же речь идёт о Ваших отношениях до того, как Вы стали встречаться, то тут не понятна суть претензий. О чём вообще говорить, если Вы в тот момент перед друг другом никаких обязательств не имели? Это претензии недальновидного человека и, возможно, это не единственная его выходка.
В любом случае, ситуация странная. Когда начинается окпание в прошлом, запреты, правила, ревность, измены — значит настоящих чувств уже нет или их и небыло. Есть «статус», есть чувство собственности, есть привычка, но нет любви. Если на Ваши отношения может повлиять ваше прошлое, которое было до него, то лучше, чтобы это случилось чейчас, чем потом, когда будет упущено время и нервы.