La trayectoria musical de Barretto muestra una gran inquietud y una amplia gama de influencias musicales, quizá en parte debido a que, al contrario que la mayor parte de los músicos de jazz latino, su aproximación a la música afro-caribeña y a la salsa fue a partir del jazz y no a la inversa. De hecho, en una ocasión afirmó que él aprendió a tocar al estilo swing antes de llegar a dominar los ritmos latinos.
Barretto empezó a tocar las congas mientras estaba en la marina en Alemania. Empezó a trabajar con músicos de jazz estadounidenses tras regresar a Nueva York, donde a finales de los 50 sustituyó a Mongo Santamaría en la banda de Tito Puente durante cuatro años. Barretto hizo su debut discográfico como líder de una banda en 1961 para Riverside, que fue un gran éxito no sólo dentro del campo del jazz (llegó a número 17 en las listas de música pop). Al año siguiente grabó para Tico "El Watusi", aprovechando la fiebre de este baile existente en el momento, que resultó un éxito fulgurante y suscitó decenas (sino cientos) de versiones y, más recientemente, de usos como samples por parte de raperos, como es el caso de la española Mala Rodríguez en su primer álbum.
Intentó modernizar el sonido de la charanga, dominante en la música latina de la época, reforzando la sección de viento y haciendo versiones de melodías provenientes del rock y del pop, como hicieron muchos otros artistas latinos.