Pada zaman pemerintah Belanda, Sumatera Utara merupakan pemerintahan yang bernama Gouvernement van Sumatra dengan wilayah meliputi seluruh pulau Sumatera, dipimpin oleh seorang Gubernur yang berkedudukan di kota Medan.
Setelah kemerdekaan, dalam sidang pertama Komite Nasional Daerah (KND), Provinsi Sumatera kemudian dibagi menjadi tiga sub provinsi yaitu, Sumatera Utara, Sumatera Tengah, dan Sumatera Selatan. Provinsi Sumatera Utara sendiri merupakan penggabungan dari tiga daerah administratif yang disebut keresidenan yaitu, Keresidenan Aceh, Keresidenan Sumatera Timur dan Keresidenan Tapanuli.
Dengan diterbitkannya Undang-Undang Republik Indonesia (R.I) No. 10 Tahun 1948 pada tanggal 15 April 1948, ditetapkan bahwa Sumatera dibagi menjadi tiga provinsi yang masing-masing berhak mengatur dan mengurus rumah tangganya sendiri yaitu Provinsi Sumatera Utara, Provinsi Sumatera Tengah dan Provinsi Sumatera Selatan. Tanggal 15 April 1948 ditetapkan sebagai hari jadi Provinsi Sumatera Utara.
Pada awal tahun 1949, dilakukan kembali reorganisasi pemerintah di Sumatera denga Keputusan Pemerintah Darurat R.I. Nomor 22/Pem/PDRI pada tanggal 17 Mei 1949, jabatan Gubernur Sumatera Utara ditiadakan. Selanjutnya dengan Ketetapan Pemerintah Darurat R.I. pada tanggal 17 Desember 1949 dibentuk Provinsi Aceh dan Provinsi Tapanuli/ Sumatera Timur. Kemudian dengan Peraturan Pemerintah Pengganti Undang-Undang No. 5 Tahun 1950 pada tanggal 14 Agustus 1950 ketetapan tersebut dicabut dan dibentuk kembali Provinsi Sumatera Utara.
Dengan Undang-Undang R.I. No. 24 Tahun 1956 yang diundangkan pada tanggal 7 Desember 1956 dibentuk Daerah Otonom Provinsi Aceh sehingga wilayah Provinsi Sumatera Utara sebagian menjadi wilayah Provinsi Aceh.