Не позднее 11 июля 1903 года Вяземский был уволен с поста томского губернатора, покинул Томск 18 июля 1903 года, но ещё несколько лет оставался почётным мировым судьёй округа Томского окружного суда[2].
Был назначен членом Совета министра внутренних дел[3]. Затем стал также от министерства членом в Совете по горнопромышленным делам в Министерстве торговли и промышленности[2].