Pichai Google'a geçmeden önce Applied Materials'ta ürün yönetimi ve McKinsey & Company'de yönetim danışmanlığı üzerine çalıştı. 1 Nisan 2004'te ürün yöneticisi sıfatıyla Google'a geçti. İşe başladığı aynı gün Google, Gmail servisini hizmete sokmuştu. Google Chrome, Chrome OS ve Google Drive gibi hizmetlerin geliştirildiği ekipte yer aldı. Ayrıca Gmail ve Google Maps gibi farklı ürünlerin denetimini yönetti. Başında bulunduğu dönem içersinde Google Chrome dünyanın en çok kullanılan tarayıcısı unvanını elde etti.