В начальные годы ХХ века капиталы Тамбовского отделения Госбанка позволили ему начать строительство нового здания. Место было выбрано в центре города, строительство началось в 1910 году. Масштабы стройки по тем временам были грандиозными, а процесс крайне трудоемким. Работы по устройству фундамента выполнялись ручным способом, землю вывозили на лошадиных повозках.

С архитектурной точки зрения здание отвечало духу времени и своему назначению: банк строился в стиле модерн, двухэтажное сооружение имело строгую композицию главного фасада, создаваемую четкой геометрией прямоугольных окон и большим симметричным фронтоном, отделанным лепным декором и надписью «Государственный банкъ». В 1930-е годы эти и другие элементы отделки убрали, но после ремонта в 1970-е  годы, фасад здания был приближен к первоначальному виду. Это одно из  немногих зданий  Тамбова, которое  никогда не меняло своего функционального назначения с момента постройки.

Интересен факт, что банк был построен на месте трактира (существовал до 1876 года), принадлежащего купцу Николаю Ивановичу Толмачеву. Посетителями питейного заведения были так называемые «приказные» — работники казенных учреждений, служившие в присутственных местах через дорогу (ныне ул. Советская, 118). Спеша в трактир, сотрудники государственных учреждений перебегали через дорогу без шапок в любую погоду, за что трактир получил народное название «бесшапочный».