明治16年7月(1883)仮駅舎で開業、18年7月に煉瓦造りの駅舎が完成しました。　当時は上野･熊谷間1編成が1日2往復のみ。　明治24年、青森まで26時間の線路が開通しました。　かつては鉄道が電化されるまでは皇居付近への乗り入れが認められておらず、また東京市が戦前に私鉄の都心乗り入れを認めなかったことから、北は上野駅、南は新橋駅（後の汐留駅）、東は両国橋駅（現・両国駅）、西は万世橋駅（現在の中央線お茶の水駅と神田駅の間）が端点となっており、3大副都心の駅（新宿駅・渋谷駅・池袋駅）及び上野駅・浅草駅は郊外へと伸びる路線のターミナル駅として発達しました。　1925年の東北本線電車線（現・京浜東北線）東京駅延伸までは東京市内から北へ向かう路線の正式な起点であった他、1928年の東北本線列車線東京駅延伸まで、および1973年から2015年までの東京駅 - 上野駅間列車線分断期間は東北本線（東北線、1990年以降は宇都宮線）・高崎線や常磐線の実質的な起点となる駅であり、上野駅から北へ向かう多数の寝台列車や急行列車が発着していました。　また、当初の東北新幹線・上越新幹線は当駅を起点としており、北関東や東北地方・北陸地方へ伸びる路線が数多く集結することから、古くから東京の北の玄関口として機能してきました。　

戦後、上野駅13番線ホームには、東北方面から多くの中学卒業生が集団就職で上京して日本の経済を支えてくれ、井沢八郎が歌った歌謡曲「あゝ上野駅」も大ヒット。　今の13番線は豪華新幹線「四季島」の発着に変わりました。