На WWDC2017 была представлена новая система сборки, написанная с нуля на свифте и она очень быстрая. Попробовать её можно начиная с Xcode 9, то есть уже давно. И если вы всё ещё страдаете как я до недавнего времени, прекращайте
Жмём File/Project Settings/Build System (или Workspace Settings/Playground Settings)
И наслаждаемся