מהיכן המקור שהכוונה היא דוקא לנזיר? - אשמח לשמוע.
מקובל לומר [כפי שרמזת לכך] שהכוונה היא לנידה.

ואגב, פעם שמעתי, שיש מי שכתב (אך שכחתי את המקור) שהכוונה היא למסכת יום-טוב (ולא למסכת יבמות), והטעם לכך הוא שמסכת זו 'בנויה' ומשלימה את מסכת שבת, וקשה ללמוד אותה אם לא למדת קודם היטב את מסכת שבת.

ומדוע דוקא עירובין יבמות ונידה?
שמעתי לפני שנים רבות מהרב שלמה מן-ההר, שנראה לו הטעם, שאין הכוונה שהן מסכתות קשות בפשט וכדו', אלא הקושי המיוחד במסכתות אלו שהרבה מהדינים המובאים בהם הם גזירות ותקנות חז"ל ולא דין תורה, ולכן הקושי הוא רב להבין מה טעם פה גזרו חז"ל ופה לא גזרו (ואילו, להבדיל, להבין את הקב"ה - יותר קל, מאשר להבין שכל אנושי), ודפפ"ח.