A letra da canção fala de uma história verídica: em 4 de dezembro de 1971, o Deep Purple chegou em Montreux, na Suíça, para gravar um álbum usando um estúdio de gravação móvel (alugado dos Rolling Stones, e conhecido
como Rolling Stones Mobile Studio, chamado de "Rolling truck Stones thing" e "the mobile" na letra da música) no complexo de entretenimento que fazia parte do Cassino de Montreux (chamado de "the gambling house", "casa de apostas", na letra). Na véspera da sessão de gravação um show de Frank Zappa e The Mothers of Invention foi realizado no teatro do cassino e, durante o show, um incêndio se iniciou; no meio do solo de sintetizador de "King Kong", alguém na plateia disparou um sinalizador (flare gun) no teto de ratã, incendiando-o (o que é mencionado no verso "some stupid with a flare gun", "um idiota com um sinalizador").
O incêndio destruiu todo o complexo do cassino, juntamente com todo o equipamento do Mothers. A "fumaça na água" que se tornou o título da canção (creditado ao baixista Roger Glover) referia-se à fumaça vinda do fogo, que se espalhou pelo lago de Genebra (também conhecido como lago Léman) a partir do cassino em chamas, enquanto os membros da banda o assistiam de seu hotel, do outro lado do lago. O "Funky Claude" que, segundo a letra, "entrava e saía correndo" (running in and out) era Claude Nobs, diretor do Festival de Jazz de Montreux, que ajudou parte da plateia a fugir das chamas.
Vendo-se com uma unidade móvel de gravação caríssima, porém sem lugar algum para usá-la, a banda foi

Após cerca de uma semana de procura, a banda finalmente alugou o Grand Hotel de Montreux, praticamente vazio, e converteu alguns de seus corredores e escadas num improvisado estúdio de gravação, onde gravaram a maior parte das faixas daquele que viria a ser o seu álbum mais bem-sucedido comercialmente, Machine Head, incluindo a maior parte da própria "Smoke on the Water" (embora a letra tenha sido composta posteriormente).
(http://pt.wikipedia.org/wiki/Smoke_on_the_Water)