יד דוד מהדו"ב מסכת שבת דף סב ע"א:
"כיון שדרך הרועה בכך כל אדם מותר, אבל אשה נכרת היא שאשה היא, ולא איש, וא"כ הוה לאשה כמו שאין רגילות כלל".

שבת של מי מסכת שבת דף סב ע"א:
"נשים עם בפני עצמן הן א"כ הכא בתפילין לא יכולה להכניסם זוג זוג דהא אינם שייכות כלל במצות תפילין והוי משוי לגבה ואינה כמו איש דשייכא במצוה אלא דפטור משום אות שבת ולכך התירו לו משום בזיון".

אם במגזר שלך לובשים כך לפעמים, זה מראה שהמלבוש רלוונטי לגביך. לא כאפיה كُوفِيَّة ולא חצאית סקוטית.
נמוכים ושמנים אין להם מערכת מלבוש שונה.