Упрочив свое положение у Баррона, Дюк перевез в Нью-Йорк Эдну. Мерсер пока еще оставался в Вашингтоне на попечении бабушки и дедушки. Спустя некоторое время он начнет приезжать в Нью-Йорк и проводить лето с Дюком и Эдной. Комнату им приходилось снимать. Из-за высокой арендной платы в Гарлеме почти все пускали квартирантов, и многие музыканты, вроде Эллингтона, жили в пустовавших спальнях изначально больших многокомнатных квартир. Дюк и Эдна сменили несколько адресов. Но самым удачным для них оказался один — дом № 2067 на Седьмой авеню, у Леонарда Харпера.

Харпер был значительной фигурой негритянского шоу-бизнеса в Нью-Йорке. Он и его жена Оссеола Блэнкс организовали собственную водевильную труппу и заняли «заметное место среди многочисленных коллективов, выступающих в нью-йоркских кабаре». Очень скоро Харпер выступал уже в качестве хореографа, а затем и режиссера в ведущих ночных клубах для белых, таких, как «Голливуд», «Плантейшн» и «Конни'с Инн».

Эллингтон, разумеется, не упускал случая свести знакомство с людьми, которые могли бы стать полезными. И Харпер оказался одним из них. Когда «Вашингтонцы» еще работали у Баррона, Харпера пригласили для постановки шоу, которое впоследствии получит название «Дикси Ревю Харпера», в кабаре «Голливуд Инн», находившееся в районе Таймс-сквер, на углу Сорок девятой улицы и Бродвея. Продюсеру требовались музыканты, и он остановил свой выбор на ансамбле Эллингтона. В начале сентября 1923 года молодые люди перебрались из Гарлема в Даун-таун, в самый центр района увеселительных заведений Нью-Йорка.

«Голливуд» занимал подвальное помещение с таким низким потолком, что, стоя на оркестровой площадке, невозможно было играть на контрабасе. Вот его описание, сделанное Уилли «Лайоном» Смитом: «Кабачок ютился в подвале, как и многие клубы в Ап-тауне, а оркестровая площадка находилась в самом углу под тротуаром. Музыканты поднимались туда по трем каменным ступенькам. В их туалетных комнатах было темно, как в мешке… Площадка вмещала всего шесть человек, а фортепиано Дюка стояло внизу в зале, и оттуда же он дирижировал. Если вы достаточно долго работали на возвышении, то уже никогда не могли избавиться от сутулости, потому что расстояние от площадки до оконной решетки на уровне тротуара было не больше пяти с половиной футов».

Владели клубом гангстеры, а управлял им человек по имени Лео Бернстайн. Как рассказывал Сонни Грир, все они обожали песенку «My Buddy». Грир пел ее для подвыпившего Бернстайна, и «тот рыдал и предлагал мне всю выручку из кассы». Клуб работал с одиннадцати часов вечера до семи утра, давая представления в полночь и в два часа ночи. Программы не отличались пышностью (места едва хватало на скромное шоу), но имелся небольшой кордебалет, а также певцы и танцоры, и среди них Джонни Хаджинс — один из ведущих джазовых танцовщиков тех лет, которого называл «великим артистом» даже такой критик, как Эдмунд Уилсон, сотрудничавший в журнале «Нью рипаблик». Помимо того, заведение нанимало группу Би-гёрлс «B-girl — девушка — исполнительница блюзов (англ.)», по совместительству проституток.

Важная особенность клуба «Голливуд» состояла в том, что благодаря времени работы и местоположению он привлекал многих музыкантов и артистов, которые служили в театрах и клубах Бродвея. Сюда заходили Бикс Бейдербек, игравший в 1924 году на Бродвее с группой «Wolverines», Томми Дорси, выступавший в самых различных клубах Нью-Йорка, музыканты из известных по всей стране оркестров Винсента Лопеса, Пола Уайтмена, «California Rambles». Оркестр Уайтмена часто работал в «Пале Рояль» — элегантном кабаре непосредственно по соседству с «Голливудом», и Уайтмен, уже знаменитый, нередко заглядывал в клуб, угощая коллег напитками и щедро соря деньгами.

Здесь непроизвольно происходило некоторое расовое смешение, поскольку, как и в «Уинтер Гарденс», сюда, не стесняясь, захаживали негритянские актеры. В клубе бывали Фэтс Уоллер, Сидни Беше и Уилли Смит.

«Голливуд Инн» пользовался в Нью-Йорке среди знатоков и ценителей репутацией злачного местечка, точкой, где знаменитости сходились с гангстерами, проститутками, голодранцами. Увеселения не всегда отвечали нормам приличия. Шум, спиртное, проститутки — здесь все сходило с рук. Посетители не были чистюлями и праведниками. Они искали развлечений и платили за них. «Деньги носились в воздухе», — вспоминал Сонни Грир.

Сноуден, Уэтсол, Грир, Хардвик и Эллингтон уже около года играли вместе и добились известной мелодичности исполнения, что способствовало их продвижению вперед. Однако за четыре года, проведенных в «Голливуде» (хотя и со значительными перерывами по тем или иным причинам), характер ансамбля коренным образом изменился. Это выразилось в смене состава, музыки и руководства. Когда осенью 1927 года «Вашингтонцы» навсегда покинули клуб, это был уже ансамбль Дюка Эллингтона, игравший музыку Дюка Эллингтона.

Проследить путь перемен, повлекших столь серьезные последствия для развития американской музыки, — дело непростое. Эллингтон всегда уклонялся от объяснений того, что случилось. Многие из пионеров ансамбля ушли из жизни задолго до написания его истории, другие имели основания излагать собственные версии происшедшего. Но так или иначе, первым решительным шагом стал ввод трубача Джеймса Уэсли «Баббера» Майли вместо Артура Уэтсола. Для Уэтсола музыка всегда оставалась лишь увлечением на фоне неизменного стремления получить профессию врача. Той осенью он решил возвратиться в Вашингтон, чтобы продолжать учебу на медицинском факультете университета Хауарда. Так возникла необходимость замены.