Что делать?

Вы знакомы 3 недели. Прежде чем переходить к каким-то серьезным отношениям, узнайте друг друга получше. Быстрые и стремительные отношения, как правило, скоротечны.
Не торопитесь, поймите, чего вы хотите друг от друга. Подумайте о совместном будущем, каким вы его видите. Удачи)

Что мешает Вам затронуть эту тему вопроса в разговоре с ним, рассказать то же или почти то же самое, что здесь, послушать его речь на эту тему и смочь определиться в итоге, что делать? Попробуйте сделать так.
Кстати, распространённая причина ухода парня от общения с девушкой — это, простите, то, что он не получил интима после общения, равно между общением (например, не увидел эротичного вида талии. груди, плеч, лица, губ, ног, колен, то есть не было почти флирта, равно кокетства, со стороны девушки, далёкого, в основном, от стриптиза). Девушка и парень — конечно разные в своём взгляде на мир люди, в силу своей разнополости, но надо, всё-таки, догадываться, что ожидает получить парень от девушки когда-либо во время общения.
В действительности причиной его ухода от Вас может быть не интим, точнее — его отсутствие во время общения с ним, поэтому советую переговорить Вам об этом с ним на означенную тему Вашего вопроса: почему так, что он уходит (и тому подобное).