La letra trata sobre esclavos africanos que fueron vendidos en Nueva Orleans y violados por sus amos blancos. El tema es bastante serio, pero la forma en que está estructurada la canción, parece un divertido rockero sobre un chico blanco teniendo sexo con una chica negra.
- Mick Jagger escribió la letra. Según Bill Wyman, fue parcialmente inspirado por una cantante de respaldo negra llamada Claudia Lennear, quien fue una de las Ikettes de Ike Turner. Ella y Jagger se conocieron cuando los Stones estuvieron de gira con Turner en 1969. David Bowie también escribió su tema de Aladdin Sane ” Lady Grinning Soul ” sobre Lennear.
- La cantante de origen estadounidense Marsha Hunt también se cita a veces como inspiración para la canción. Ella y Jagger se conocieron cuando ella era miembro del elenco de la producción londinense del musical Hair , y su relación, un secreto muy bien guardado hasta 1972, resultó en una hija llamada Karis. Según el libro Up And Down With The Rolling Stones de Tony Sánchez, toda la esclavitud y los azotes son un doble significado de los peligros de ser “dominado” por Brown Heroin, o “Brown Sugar”. La droga que se vuelve negra al calentarse en una cuchara.
Los Rolling Stones grabaron esto en la ciudad musicalmente rica pero privada de lujo de Sheffield, Alabama, donde Jerry Wexler del sello del grupo, Atlantic Records, solía enviar a sus artistas. Los Stones llegaron a Sheffield el 2 de diciembre de 1969, se quedaron hasta el 4, luego realizaron su fatídico concierto Altamont Speedway el 6 de diciembre, donde interpretaron esta canción en vivo por primera vez. En el show, un fan fue apuñalado hasta la muerte por un guardia de seguridad de Hells Angels.
