Building Sort er et sorterings- og logikspil, der minder om spil, hvor man skal sortere kugler i reagensglas. Det udfordrer spilleren til at sortere etager og sektioner af bygninger på bebygget jord for at skabe nye bygninger på 30 niveauer.
Hvert niveau har en blå baggrund og et flydende stykke jord med hele eller delvise bygninger, gader, fortove, biler, træer og andre bylandskabselementer. Når spilleren vælger toppen af en bygning og en tom grund eller toppen af en matchende bygning, fejer en kæmpe orange kran ned fra offscreen for at samle etagen eller sektionen op og placere den på det valgte sted.
Spilleren skal bestemme den korrekte rækkefølge af etagerne og sektionerne for at færdiggøre hver bygning. Rækkefølgen er typisk baseret på udvendig maling og arkitektoniske træk, såsom udskæringer eller antallet eller typen af vinduer. Mindre sektioner passer altid oven på de færdige bygninger.
Når det er sagt, skjuler spillet også etager og sektioner. Spilleren når til sidst til niveauer med brune murstensbygninger. Spilleren skal flytte et stykke af en bygning for at afsløre dens sande udvendige farve og mønster. Derefter sorterer og bytter de sektioner ud fra, hvad der dukker op ved hver flytning.
Building Sort har ingen penge eller reklameopgaver. Spillerens eneste mål er at sortere gulve og andre dele af bygninger, så byen tager sig bedst muligt ud.