SM（Streaming Multiprocessors）是GPU架構(gòu)中非常重要的部分，GPU硬件的并行性就是由SM決定的。 以Fermi架構(gòu)為例，其包含以下主要組成部分： CUDA cores Shared Memory/L1Cache Register File Load/Store Units Special Function Units Warp Scheduler GPU中每個(gè)SM都設(shè)計(jì)成支持?jǐn)?shù)以百計(jì)的線程并行執(zhí)行，并且每個(gè)GPU都包含了很多的SM，所以GPU支持成百上千的線程并行執(zhí)行，當(dāng)一個(gè)kernel啟動(dòng)后，thread會(huì)被分配到這些SM中執(zhí)行。大量的thread可能會(huì)被分配到不同的SM，但是同一個(gè)block中的thread必然在同一個(gè)SM中并行執(zhí)行。