Первый вокзал на территории так называемой Архиерейской левады был построен в 1869 году.
22 мая 1869 на железнодорожный вокзал Харькова по Курско-Харьково-Азовской железной дороге пришёл первый поезд.
Первый вокзал на территории так называемой Архиерейской левады был построен в 1869 году известным русским архитектором Андреем Тоном. Однако с развитием железных дорог (особенно после открытия дороги до Балашова в 1895) в 1896—1901 годах вокзал был расширен и модернизирован, ставши одним из крупнейших в Российской империи.
Нынешнее, третье по счёту, здание вокзала в стиле "сталинского ампира" с элементами классицизма открыто 2 ноября 1952 года вместо разрушенного в годы войны. В 1950 году были возведены навесы над платформами. В 1978—1982 годах здание расширено на юг - влево от Привокзальной площади - в современном стиле по проекту института Харгипротранс. Также к вокзалу была пристроена 16-этажная гостиница "Экспресс" на 54 номера.
Вокзал был косметически отремонтирован в 2003 году к 350-летию Харькова.