1655年建为要塞以保护俄罗斯南部边境地区；存有部分旧城堡的城墙遗迹。地处沃土地区中部，18世纪中叶迅速移民，发展为俄罗斯南部重要的手工业和贸易中心。

1732年为州首府。19世纪后半叶随附近顿涅茨克煤田开发和铁路修筑，1869年从哈尔科夫率先建成铁路通煤田，使该城枢纽地位提升。工业，尤其是机械制造业迅速发展。

1917年俄国革命后，建立了乌克兰苏维埃社会主义共和国，哈尔科夫成为乌克兰首府。

1934年让位于基辅。第二次世界大战中在苏德之间进行了反复的拉锯，进行了四次哈尔科夫战役，几经易手，城市遭严重破坏，战后重建。

1991年苏联解体，乌克兰宣布独立，哈尔科夫脱离苏联并入乌克兰。