El grupo no existía hasta que hizo falta. Alan Braxe, DJ, iba a tocar en el Rex Club de París junto a Thomas Bangalter, miembro del dúo Daft Punk, y al vocalista Benjamin Diamond, y en los ensayos les faltaba un tema para cerrar el set. Braxe ha contado que no querían un «tema de club puro», así que armaron el primero con un bucle sampleado de «Fate», la canción de Chaka Khan de 1981, pasado por un E-mu SP-1200.
Diamond venía del punk: dejó su banda cuando sus compañeros le dijeron que se volviera «a ver a tus amigos de Daft Punk y nos olvidara». Ya como Stardust, los tres pasaron seis días en el estudio casero de Bangalter. Diamond no soportaba su propia voz al principio; Bangalter y Braxe la encontraron perfecta. Escribieron más letras de las que quedaron, pero no dieron con la forma de colocarlas y redujeron la canción hasta su forma final. Para Diamond era «como un mantra... algo que cualquiera podía entender».
El primer vinilo salió en Roulé, el sello de Bangalter, y según Braxe desconcertó a los clubbers parisinos: era un disco pensado para DJs. La cosa cambió al repartir copias en la Winter Music Conference de Miami de 1998, y el locutor de BBC Radio 1 Pete Tong fue el primero en ponerla en la radio. Solo en Roulé vendió entre 250.000 y 400.000 copias. El vídeo, dirigido por Michel Gondry y rodado en Los Ángeles, muestra a un niño que construye un planeador de maqueta mientras el trío actúa en televisión, con Bangalter y Braxe enmascarados y la cara de Diamond pintada de plata.
Virgin llegó a ofrecer a Bangalter tres millones de dólares por un álbum de Stardust; grabaron algunas maquetas, las abandonaron y rechazaron la propuesta. Braxe sostiene que no publicarlas le da al disco «una cierta magia y misterio». El grupo solo actuó una vez más, media hora en el festival Borealis de Montpellier. Daft Punk recuperaron la canción para mezclarla con «One More Time» en su gira de 2006-2007, y en 2018 Stardust la remasterizaron por su vigésimo aniversario y Because Music la reeditó. En 2024 volvió a sonar en la ceremonia de apertura de los Juegos Olímpicos.
