Эллис говорил, что впервые услышал электрогитару в исполнении Джорджа Барнса (George Barnes) в одной из радиопередач. В это время он был подростком и жил рядом с Далласом, Техас. Впечатление от игры Джорджа Барнса побудило его приобрести его первую гитару. К тому времени он добирается до Университета Северного Техаса (North Texas State University) и через несколько лет становится сформировавшимся гитаристом. В Университете Эллис учился музыке, но так как там не было класса гитары, он занимался на контрабасе.
Во время проживания в Северном Техасе Эллис познакомился с Джимми Джуффри (Jimmy Giuffre) и в первый раз услышал Чарли Крисчена – оба эти события были стартовой точкой, после чего Эллис стал играть джаз.
Эллис был вынужден оставить колледж в следствии недостатка денежных средств и он отправился на гастроли с бандой колледжа. Затем в 1943 он присоединился к Casa Loma Band, ансамблю Глена Грея (Glen Gray), и именно с этим коллективом Эллис получил первое признание в джазовых журналах. После работы с Греем Эллис присоединился к банде Джимми Дорси (Jimmy Dorsey), где он сыграл несколько из его первых записанных соло, это были темы: Perdido, J.D.'s Jump, JD's Boogie Woogie, Super Chief и Sunset Strip. Херб Эллис оставался c Джимми Дорси в течении 1946 и 1947 и затем сформировал The Soft Winds с Lou Carter и John Frigo, двумя другими музыкантами, работавшими с Дорси. The Soft Winds оставался вместе до 1952. Затем Эллис объединился в трио с Оскаром Питерсоном (заменив Барни Кессела), и получилось одно из самых незабвенных трио, состоящего из фортепьяно, гитары и контрабаса.
Херб Эллис сделал много записей вместе с Оскаром Питерсоном в те годы, когда они были вместе, и он так же стал делать записи под собственным именем. В течении тех лет появилась серия записей Эллиса на LP: Ellis In Wonderland, Ellis Meets Giuffre, Nothing But The Blues and Thank You, Charlie Christian. Эти записи и его работа с Питерсоном утвердила его, как большого джазового артиста.
Эллис записывался на протяжении лет для ряда лейблов, включая , Dot, Epic и в последние годы Justice. Но есть записи, стоящие отдельно, это лейбл Verve в 1950-е и 1960-е и Concord Jazz в 1970-е и 1980-е. Записи на Concord были бы значительны только из-за их числа, но на них есть то качество игры, которое делает их и так же записи, сделанные на Verve, как одни из лучших примеров Эллисовской игры. Его запись на Concord с Джо Пассом и другими великими гитаристами Барни Кесселом и Чарли Бёрдом стали современной классикой. И, конечно, Эллис продолжал записываться. Его CD Burnin был записан в 1998 на лейбле Justice. Эта запись появилась почти 60 лет спустя после его первой записи с Гленом Греем (Glen Gray).
Как почти все гитаристы, пришедшие в 1940-е, Херб Эллис был под влиянием Чарли Крисчена. Но мало кто может заявлять о такой прямой взаимосвязи как Херб Эллис.
Это было после того, как он впервые услышал Крисчена, о чём Эллис говорит, что стал серьёзно относиться к джазу. В примечаниях к Softly ... But With That Feeling, Эллис рассказывает Леонарду Фитеру (Leonard Feather): «… когда я в первый раз услышал Чарли Крисчена, я подумал, что он в реальности не так чтобы очень, потому что я чувствовал, что могу играть быстрее чем то, что услышал. Позже, прослушав несколько раз, это меня по настоящему зацепило, и я осознал, что скорость это не всё. Я был весь в эмоциях – я убрал гитару и сказал, что никогда больше не буду играть. Но на следующий день я достал её и стал пытаться играть как Чарли».
И он стал играть. Херб Эллис, конечно, создал свой голос и стиль джазовой гитары, но он никогда не уходил далеко от голоса Чарли Крисчена. Его альбом Thank you, Charlie Christian продемонстрировал, как хорошо Эллис усвоил уроки Крисчена. И без исключения, играя традиционный джаз или блюз, Эллис находит способ звучать как Крисчен, и в это же время проявляя очевидное Эллисовское звучание.