Первоначально служил в австрийской армии. В 1789 году вернулся на родину и перешёл на службу в польскую армию. В 1792 году участвовал в русско-польской войне на Волыни. После капитуляции польского короля и присоединения его к Тарговицкой конфедерации Юзеф Виельгорский вышел в отставку и эмигрировал в Вену.
В 1794 году в начале польского восстания под руководством Тадеуша Костюшко Юзеф Виельгорский вернулся на родину и в чине полковника поступил в повстанческую армию. Был отправлен в Париж, чтобы добиться от французского революционного правительства помощи для Польши. После поражения восстания Юзеф Виельгорский остался во Франции и пытался склонить Комитет общественного спасения сформировать польский корпус в составе французской революционной армии.
Позднее вместе с генералом Яном Генриком Домбровским участвовал в создании польских легионов в Италии. В 1797 году получил чин генерала французской армии. В 1797-1802 годах служил в польских легионах в Италии, где командовал 1-м легионом. Во время итальянской кампании был взят в плен австрийцами под Мантуей. В знак протеста против заключения мира с Австрией Юзеф Виельгорский подал в отставку и вернулся в Польшу.