Tanzimat’tan önce, Erzurum Eyaleti Müşirliği'nin kapsadığı sancak ve kazaların hududunu çizmekte güçlük çekilir. Bu hususta elde ettiğimiz en eski kaynak olan Katip Çelebi'nin Cihannüma'sında Eyalet-i Erzurum kısmında  Erzurum’un kazası olan Gümüşhane yer almaktadır. Kazalar arasında daha sonra Gümüşhane'nin nahiyeleri olacak olan Kovans (Bugünkü Kale bucağı) ve Yağmurdere, Erzurum'a bağlı kazalar olarak gösterilmiştir.

Evliya Çelebi, Seyahatname'sinde Gümüşhane'yi Trabzon Eyaleti sınırları içerisinde göstermiştir.19. asır başlarında Osmanlı İmparatorluğunun eyalet ve sancak taksimatında görülen karışıklık, Erzurum'da daha bariz göze   çarpmaktadır.Erzurum Eyaleti'nin idari taksimatını gösteren en önemli kaynak T.T.K. Kütüphanesinde bulunan iki yazma defterle İstanbul Üniversitesi Kütüphanesi'nde bulunan diğer bir yazma defterdir. Bu defterler birbirini tutmamaktadır. Birinde kaydedilen bir yer diğerinde kaydedilmemiştir. Birinde kaza olarak gösterilen diğerinde sancak olarak gösterilmektedir.Bunlardan üniversite kütüphanesinde bulunan ve hangi tarihte yazıldığı belli olmayan yazma eserde ve T.T.K. Kütüphanesindeki, tarihi belli olmamakla beraber 1830 dan sonra yazıldığı tahmin edilen eserde Gümüşhane, Erzurum'un kazası olarak gösterilmektedir.Yazılış tarihinin Tanzimat'tan sonra olduğu anlaşılan differ bir yazma eserde ise Gümüşhane yine Erzurum'un kazası olarak gösterilmektedir.Tanzimat'ın ilk yıllarında Osmanlı İmparatorluğunun batıdan ilham alarak idari yapıda, yapmış olduğu değişikliğe binaen Gümüşhane Erzurum'dan ayrılarak Trabzon Eyaleti'nin bir livası olmuştur.

XIX. asrın ilk yıllarında yazıldığı anlaşılan Osmanlı Devleti'nin idari taksimatına dair bir defterde Trabzon Eyaleti'nin kazaları, şu şekilde gösterilmiştir: Trabzon, Keşap (Gümüşhane'ye tabi), Tirebolu, Maşuka (Maşka Gümüşhane'ye tabi), Arhavi, Sohum, Sürmene-Giresun (Gümüşhane'ye tabi), Rize, Yavebolu (Cörele), Unye. Soğucak, Of, Kürtün, Çavri, Gümüşhane (Vali karışmaz Torul nahiyesidir), Faş, Batum.1847 yılında Erzurum Valiliğine getirilen Hamdi Paşa, vazifeye başladığı sırada Erzurum'da Tanzimat'la tatbikinden doğan karışıklıklar henüz yaşanmamıştı. 1847 yılında yapılan idari taksimat 1849 yılına kadar devam etti. 1849 yılında Trabzon Eyaleti'ne bağlı bulunan Gümüşhane ve Ordu sancakları Erzurum'a ilhak edilerek sancak sayısı tekrar altıya çıkarıldı. 1847 taksimatında Erzurum Eyaleti sancakları dörde indirilmiştir.

Gümüşhane ile Ordu sancakları Kırım Harpleri sırasında tekrar Erzurum Eyaletine bağlandı ise de bir yıl sonra yapılan bir değişiklik ile yine Trabzon'a ilhak edildi. 1855 yılında yapılan bu değişiklik sırasında Van, müstakil bir eyalet haline getirildi. Ordu, Gümüşhane ve Karahisar-ı şarkı Trabzon'a bağlandı.1869 yılında vilayet sisteminde yapılan değişiklikler sonunda Erzincan Sancağı'na bağlı Şiran ve Kelkit kazaları Gümüşhane'ye bağlamıştır. 1870 Trabzon Salnamesinde Trabzon'un kazaları arasında Gümüşhane'yi de görmekteyiz.

II.Abdülhamit devrinde Gümüşhane yine Trabzon Vilayeti'ne bağlıdır. Bu devrin sonu olan 1908 yılında Batum, 1878'de Rusya'ya terk edildiğinden Trabzon Vilayeti Trabzon ve Gümüşhane olarak kalmıştır.

Gümüşhane, 1. Cihan Harbi sırasında (19 Temmuz 1916) Rus kuvvetleri tarafından işgal edilmiş ve 15 5ubat 1918'de tamamı ile harap bir halde geri alınmıştır.

Cumhuriyetten sonra Gümüşhane il olmuş ve Bayburt, Kelkit, Şiran, Torul ilçeleri Gümüşhane'ye bağlanmıştır.

1989 yılında il statüsüne kavuşan Bayburt, Gümüşhane'den ayrılmıştır. 1990 yılında 3644 Sayılı Yasa ile Köse ve Kürtün bucakları da ilçe statüsüne kavuşturulmuştur. Böylece Gümüşhane'nin ilçe sayısı, merkez ilçe dahil altıya ulaşmıştır. 

Gümüşhane ili, Doğu Karadeniz'in iç illerinden biridir. Doğusunda Bayburt, batısında Giresun, kuzeyinde Trabzon. güneyinde Erzincan illeriyle komşudur.