Японские города, такие как Роккосан, Хаконе, Ирохазака, а также различные холмистые возвышенности в Нагано – все это фигурирует в легендах о происхождении дрифтинга. Никто не может точно указать действительное место рождения дрифтинга, но известно, что движение началось в середине 1960-х. Как и многие формы профессиональных гонок сегодня, современная интерпретация дрифтинга развилась из нелегальных уличных гонок, проводимых на извилистых горных дорогах, называемых «тоге» (touge). Тоге были в ходу у наиболее увлеченных энтузиастов, которые назывались «роллинг зоку» (rolling zoku), их единственной целью было уменьшить на бесценные миллисекунды то время, за которое они проходили от одного пункта в другой. В итоге некоторые из этих роллинг зоку начали использовать технические приемы вождения, используемые гонщиками ралли, приемы преодоления поворота быстро и без слишком большой потери инерции. По мере того, как водители на тоге начали подражать техническим приемам гонщиков ралли, они поняли, что не только их вождение и время прохождения улучшились, но и гонка стала гораздо напряженнее. Именно тоге породил дрифтинг.

Примерно в то же время, когда тоге эволюционировал в дрифтинг, некоторые роллинг зоку спустились с гор для того, чтобы принести новый вид спорта в городские джунгли Японии. Городские дрифтеры добавили свой собственный оттенок к этому виду спорта своим ярким стилем вождения и вызывающими машинами. В итоге, слава об этом зрелище распространилась повсюду, и начали появляться фанаты дрифтинга, которые наблюдали восхитительное мастерство водителей и их машины. Но несмотря на популярность дрифтинга, он был низведен в ранг нелегального вида спота из-за риска и образа, связанного с нелегальными уличными соревнованиями.

В итоге, популярность дрифтинга обеспечила этому виду спорта статус общепризнанного, и участники начали организовывать и проводить свои самостийные соревнования. Первоначально эти собрания были просто ради забавы, пока машины и навыки вождения не стали настолько усовершенствованными, что в воздухе начал витать дух соревнования.