«Если бы я следовал велению сердца, то остался бы в Марселе. Переходить в „Челси“ меня никто не заставлял. Но мною руководит рассудок. Бывают предложения, от которых не отказываются ни в спортивном, ни в финансовом плане. Хорошо знакомые со мной люди знают, что дело не только в деньгах. Жозе Моуринью видел меня на поле и хочет, чтобы я был в его команде. Мне же игра рядом с такими футболистами, как Кежман, Роббен, Муту, Макелеле и другие, должна позволить подняться на новую ступень».
30 июля 2004 года Дрогба дебютировал в составе «Челси» в товарищеском матче против «Ромы»; он вышел на поле после перерыва и забил гол уже на 68 минуте встречи, которая завершилась победой английской команды со счётом 3:0. В следующей игре Дидье уже вышел в стартовом составе и вновь забил гол, правда это не помогло его команде, проигравшей «Милану» со счётом 2:3. 16 августа Дрогба провёл свой первый официальный матч за «Челси» в котором его команда победила «Манчестер Юнайтед», а Дидье сделал голевую передачу, с которой Эйдур Гудьонсен забил единственный во встрече мяч, правда Жозе Моуринью был недоволен игрой ивуарийца. А уже в третьей официальной игре за клуб, Дрогба забил гол, поразив ворота «Кристал Пэлас» с передачи Селестина Бабаяро. Однако дальнейшее выступление было прервано травмой — Дидье потянул мышцу живота в матче с «Ливерпулем» и не играл в течение двух месяцев. Однако сыграв 26 матчей и забив 10 голов Дрогба помог своему клубу выиграть Премьер-лигу, второй подобный титул за всю историю клуба. Также лондонцы завоевали Кубок Футбольной лиги, в финале которого Дрогба забил гол, а его команда победила «Ливерпуль» в дополнительное время со счётом 3:2. Также клуб дошёл до полуфинала Лиги чемпионов УЕФА, в розыгрыше которой Дрогба забил 5 голов. Всего за сезон Дидье провёл 40 матчей и забил 16 голов.