Tokoh pertama yang memperkenalkan sistem thariqah ( Tarekat ) adalah Syaikh Abdul Qadir al-Jilani (w. 561 H/1166 M) di Baghdad. Hal ini disampaikan Dr Kamil Musthafa al-Syibi dalam tesisnya tentang gerakan tasawuf dan gerakan syi'ah .

Kiai Haji Ali Yafie dalam buku "Kontekstualisasi Doktrin Islam Dalam Sejarah" mengatakan ajaran tarekat Syaikh Abdul Qadir ini menyebar ke seluruh penjuru dunia Islam, yang mendapat sambutan luas di Aljazair, Ghinia dan Jawa.

Sedangkan di Mesir, tarekat yang banyak pengikutnya Tarekat Rifa'iyyah yang dibangun Sayid Ahmad al-Rifa'i. Dan tempat ketiga diduduki tarekat ulama penyair kenamaan Parsi, Jalal al-Din al-Rumi (w. 672 H/1273 M).

Beliau membuat tradisi baru dengan menggunakan alat-alat musik sebagai sarana zikir. Kemudian sistem ini berkembang terus dan meluas.

Dalam periode berikutnya muncul tarekat al-Syadziliyah yang mendapat sambutan luas di Maroko dan Tunisia khususnya, dan dunia Islam bagian Timur pada umumnya.

KH Ali Yafie mengatakan yang juga perlu dicatat di sini ialah munculnya Tarekat Sanusiyah yang mempunyai disiplin tinggi mirip disiplin militer.

Di bawah syeikhnya yang terakhir, Sayyid Ahmad al-Syarif al-Sanusi berhasil menggalang satu kekuatan perlawanan rakyat yang mampu memerangi kolonialis Italia, Perancis dan Inggris secara berturut-turut, dan akhirnya membebaskan wilayah Libya.

"Mungkin sifat keras dari iklim yang dibentuk Tarekat Sanusiyah inilah yang mewarnai Mu'ammar al-Qadafi mengambil alih kekuasaan dan berkuasa sampai saat ini sebagai Kepala Negara tersebut," tutur KH Ali Yafie dalam buku " .

Nicholson mengungkapkan hasil penelitiannya, bahwa sistem hidup bersih dan bersahaja (zuhud) adalah dasar semua tarekat yang berbeda-beda itu. Semua pengikutnya dididik dalam disiplin itu, dan pada umumnya tarekat-tarekat tersebut walaupun beragam namanya dan metodenya, tapi ada beberapa ciri yang menyamakan:

1. Ada upacara khusus ketika seseorang diterima menjadi penganut (murid). Adakalanya sebelum yang bersangkutan diterima menjadi penganut, dia harus terlebih dahulu menjalani masa persiapan yang berat.

2. Memakai pakaian khusus (sedikitnya ada tanda pengenal)

3. Menjalani riyadlah (latihan dasar) berkhalwat. Menyepi dan berkonsentrasi dengan shalat dan puasa selama beberapa hari (kadang-kadang sampai 40 hari).

4. Menekuni pembacaan dzikir tertentu (awrad) dalam waktu-waktu tertentu setiap hari, ada kalanya dengan alat-alat bantu seperti musik dan gerak badan yang dapat membina konsentrasi ingatan.

5. Mempercayai adanya kekuatan gaib/tenaga dalam pada mereka yang sudah terlatih, sehingga dapat berbuat hal-hal yang berlaku di luar kebiasaan.

6. Penghormatan dan penyerahan total kepada Syeikh atau pembantunya yang tidak bisa dibantah

KH Ali Yafie mengutip Nicholson menyimpulkan, bahwa tarekat-tarekat sufi merupakan bentuk kelembagaan yang terorganisasi untuk membina Suatu pendidikan moral dan solidaritas sosial.

Sasaran akhir dari pembinaan pribadi dalam pola hidup bertasawuf adalah hidup bersih, bersahaja, tekun beribadah kepada Allah, membimbing masyarakat ke arah yang diridai Allah, dengan jalan pengamalan syari'ah dan penghayatan haqiqah dalam sistem/metode thariqah untuk mencapai ma'rifah.

Idris Shah dalam bukunya berjudul "The Sufis" mengatakan hampir semua Sufi, pada suatu waktu atau lainnya, merupakan anggota dari salah satu tarekat yang oleh para sarjana Barat disebut "Order", sebagai isyarat dari dugaan kemiripannya dengan ordo-ordo keagamaan Kristiani pada Abad Pertengahan. Ada beberapa perbedaan penting antara dua jenis organisasi tersebut.

Tarekat, bagi seorang Sufi, bukanlah suatu pelestarian entitas diri yang langsung dengan suatu hirarki dan pernyataan yang baku serta membentuk suatu sistem pelatihan bagi pemeluknya.

Sifat Sufisme adalah evolusioner, untuk itu suatu lembaga Sufi niscaya tidak mungkin mengambil suatu bentuk permanen sekaku ini. Di tempat-tempat tertentu dan di bawah guru-guru individual, sekolah-sekolah muncul dan melaksanakan suatu kegiatan yang dimaksudkan untuk meningkatkan kebutuhan manusia terhadap penyempurnaan pribadi.

Sekolah-sekolah ini (seperti sekolah Rumi dan Data Ganj Bakhsh, sebagai contoh) menarik minat banyak orang yang bukan Muslim, meskipun sekolah-sekolah Sufi sejak kemunculan Islam, selalu dipimpin oleh orang-orang yang berasal dari tradisi Muslim.

Kemudian, meskipun Tarekat-tarekat Sufi memiliki aturan-aturan khusus dan serangkaian pakaian dan ritual, hal ini bukan suatu keharusan, dan sejauh mana Sufi mengikuti bentuk-bentuk ini ditentukan oleh kebutuhannya terhadap hal-hal itu, sebagaimana yang diperintahkan oleh gurunya.

Beberapa Tarekat besar mempunyai sejarah yang rinci, tetapi kecenderungan untuk membagi ke dalam berbagai bentuk spesialisasi pada waktu-waktu tertentu sama-sama mempunyai karakteristik nominal.

Hal ini karena tarekat dikembangkan melalui wahana untuk memenuhi suatu keperluan batin, tidak diarahkan oleh kerangka kerja organisasinya yang tampak jelas secara lahiriah.