С 1708 г. Белый входит в состав Смоленской губернии. С 1713 г. в составе Рижской губернии, с 1719 г. в Смоленской провинции. С 1726 г. центр Бельского уезда Смоленской губернии. С 1775 г. - уездный город Смоленского наместничества (с 1796 г. - Смоленская губерния).
В те времена здесь было несколько деревянных церквей, крепость состояла из Верхнего и Нижнего города. Верхний был укреплён четырьмя угловыми шатровыми башнями, имел проездные ворота в стене. В Нижнем городе было пять башен, одна из них с воротами и караульным чердаком. Постепенно русско-польская граница отодвинулась к западу. Крепость утратила оборонительное значение. К концу XVII века стены и башни частично сгнили и развалились .
Вместе с тем росло торговое значение Белого, оказавшегося на важном водном пути. В 1723 году по приказу Петра I здесь была учреждена пристань для торговли хлебом, пенькой, лесом. Город рос и богател, но в 1766 и 1767 году страшные пожары уничтожили почти всю застройку.