Еще до знакомства с джазом прошел основательное музыкальное обучение — отчасти с помощью отца — преподавателя музыки и руководителя духового оркестра. Вначале освоил корнет. Уже в 8 лет впервые выступил с оркестром, который возглавлял его отец, участвовал в уличных парадах в составе различных брасс-бэндов. К 10-ти годам освоил альт- и тенор-саксофон, через некоторое время — кларнет. Профессиональную деятельность начал в 17 лет — в ансамбле SCRANTON SIRENS.
Затем играл в оркестре Жана Голдкета, в 1922 (в 18 лет) организовал свой первый оркестр для выступлений в серии развлекательных музыкальных программ на радио в Балтиморе (DORSEY NOVELTY BAND). В дальнейшем совершил ряд турне как солист оркестра CALIFORNIA RAMBLERS, работал у Пола Уайтмена и «Реда» Николса (в ансамбле FIVE PENNIES), у которого играл и Т. Дорси. Вместе с ним в 1928 (позднее также в 1932) был участником ансамбля Фила Наполеона ORIGINAL MEMPHIS FIVE. В 1928—35 возглавил с братом биг-бэнд DORSEY BROTHERS ORCHESTRA, завоевавший широкую известность. Продолжал руководить этим коллективом один после того, как брат создал с 1935 собственный биг-бэнд. В 1945 оркестры Дж. и Т. Дорси осуществили совместные грамзаписи, в 1947 участвовал в съемках кинофильма The Fabulous Dorseys. Одновременно с работой в биг-бэнде Дорси активно включился в 1949—50 в ривайвл-движение с созданной им специально для этого небольшой диксилендовой капеллой ORIGINAL DORSEYLAND ORCHESTRA (в названии обыгрывается ассоциация с ORIGINAL DIXIELAND JAZZ BAND — первым значительным оркестром диксиленд-джаза). В 1953 Дж. Дорси распустил свой биг-бэнд и вновь объединился с братом, выступал у него в качестве солиста, а после его смерти в 1956 принял на себя руководство оркестром, которое осуществлял до конца жизни. С кончиной Джимми история этого оркестра не завершилась, он стал «мемориальным» бэндом. Новым его руководителем был впоследствии трубач Ли Кастл.
В историю джаза вошел прежде всего как бэндлидер, благодаря исключительной популярности в 30-е годы DORSEY BROTHERS ORCHESTRA — одного из лучших «белых» биг-бэндов начала свинговой эры, а также как руководитель собственного оркестра, исполнявшего преимущественно коммерциализированную развлекательно-танцевальную музыку, но выгодно отличавшегося от других подобных оркестров высоким профессионализмом и первоклассным свингом. Наиболее удачные аранжировки для него написал Дон Редмен, для оркестра братьев Дорси — Флетчер Хендерсон. Ряд идей, связанных со стилистикой, структурой биг-бэнда, распределением ролей между инструментальными группами, соотношением коллективного и сольного исполнения, Дорси заимствовал у негритянских свинговых оркестров (особенно у Джимми Лансфорда), однако смог утвердить их на практике и придать им законченный и зрелый вид раньше многих других бэндлидеров. Внес, как и его брат, значительный вклад в подготовку расцвета классического свингового стиля в середине 30-х годов. Вместе с тем до конца 40-х сохранил привязанность и к традиционному джазу (сотрудничал с музыкантами чикагской и нью-йоркской школ диксиленда, создал собственный диксиленд-бэнд, эпизодически включал в репертуар биг-бэнда диксилендовые аранжировки, стремился к соединению стилевых элементов традиционного джаза и свинга). Кроме того, зарекомендовал себя как талантливый кларнетист и альт-саксофонист с самобытной манерой игры и блестящей исполнительской техникой (хотя и не был ярким импровизатором). Ему подражал в начале своего пути Лестер Янг. Сам же он на определенном этапе испытал влияние Б. Гудмена (в связи с этим его называют порой в литературе о джазе «малым Гудменом»).