Jiménez publicó su primer disco en 1976, con rumbas, tangos, bulerías, boleros, rancheras y baladas de Silvio Rodríguez, Lolita de la Colina o Amancio Prada, bajo la producción de Gonzalo García Pelayo y con arreglos del guitarrista Paco Cepero. En 1978 lanzó el álbum Se acabó, cuyo primer single se convirtió en un éxito en España y México gracias a la letra desenfadada sobre una mujer cansada de una situación de maltrato.
Durante la década de 1980 siguió grabando y lanzando álbumes a un ritmo frenético (un disco cada dos años), que la posicionaron en la escena nacional e internacional como una de las rumberas más destacadas. Su carrera se relanzó en 2002 con el disco Donde más duele (Canta por Sabina), que versionó las canciones de Joaquín Sabina con la producción de Gonzalo García Pelayo. Este disco vendió más de 600 mil copias en España y de él se desprendieron los singles Con dos camas vacías y El diario no hablaba de tí, con el grupo Estopa.
En 2001 colaboró en la canción La lista de la compra con el grupo La Cabra Mecánica que consiguió llegar a lo más alto de la lista de Los 40 Principales. En 2002 publicó sus memorias Calla canalla. En 2005 lanzó el álbum Canta José Alfredo Jiménez, con versiones de las más conocidas canciones de Jiménez. En 2013 hizo un dúo con Manuel Orta y en 2019 uno con Miguel Poveda. En 2020 publicó el álbum La vida a mi manera.
En 2018 recibió el premio Radiolé del Grupo Prisa a su trayectoria.7 En 2021 recibió el premio Andalucía Excelente a la trayectoria.
