אמר רב הונא אמר רבי ינאי ארבעת מילין (רבי אבהו משום דריש לקיש אמר) לגבל ולתפלה ולנטילת ידים ארבעת מילין
רש"י:
לתפלה. המהלך בדרך וגמר בלבו ורוצה ללון מבעוד יום אם יש בית הכנסת לפניו עד ארבעת מילין יטריח וילך שם כדי שיתפלל: ולנטילת ידים. לאכילה ואין לו מים ויש מים לפניו לסוף ארבעה מילין ימתין עד שיגיע למים.
תוס':
... ומיהו מה שפירש בערוך לתפלה לרחוץ ידיו לתפלה אין נראה דהיכי דמי אי דמטא זמן צלויי הא לייט עלה אביי בברכות (דף טו.) אמאן דמהדר אמיא בעידן צלותא דכתיב ארחץ בנקיון כפי כל מידי דמנקי ואי לא מטא זמן תפלה מאי איריא ד' מילין אפילו טובא נמי
ונראה כפירוש הקונטרס דלענין להתפלל בעשרה איירי
ותימה דאמאי לא חשיב עבודה דבסמוך ועוד למאן דחשיב עבודה אמאי לא חשיב שלשים ריס דפרק לא יחפור (ב''ב דף כג.)...
ור''ח פי' לתפלה לטבול לתפלתו דאע''ג דקי''ל (לקמן דף קלו:) כרבי יהודה בן בתירא בדברי תורה ה''מ ללמוד ולק''ש אבל לתפלה לא אי נמי לא סבירא ליה דרבי יהודה בן בתירא ולפירוש ר''ח ניחא דלא חשיב עבודה דלא חשיב אלא הנך תלתא שהן ענין טהרה מאן דחשיב עבודה שהיא כמו מענין טהרה שמטהר העור מן הטומאה ולהכי חשיב לה ולא חשיב ההיא דשלשים ריס:

רמב"ם הלכ' תפילה פ"ח הלכה א
תפלת הציבור נשמעת תמיד ואפילו היו בהן חוטאים אין הקדוש ברוך הוא מואס בתפלתן של רבים, לפיכך צריך אדם לשתף עצמו עם הציבור, ולא יתפלל ביחיד כל זמן שיכול להתפלל עם הציבור, ולעולם ישכים אדם ויעריב לבית הכנסת שאין תפלתו נשמעת בכל עת אלא בבית הכנסת, וכל מי שיש לו בית הכנסת בעירו ואינו מתפלל בו עם הציבור נקרא שכן רע.

לקוח מהדף על דף:
כתב האגרות משה (או"ח ח"ב סי' נ'(ודומה לזה במ"ב)) דמהכא מוכח בהדיא דיש חיוב על האדם להתפלל בעשרה, דאין להקשות דא"כ למה פטור מלטרוח לילך להתפלל בעשרה ביותר מד' מילין לפניו ומיל לאחריו, דהא גם במצות דאורייתא איכא שיעורא ואינו חייב להוציא יותר מחומש, ובחיוב תפלה בציבור פטרו מטירחא של הליכה יותר מג' מילין ושויוה כאונס, והטעם שהקילו בחיוב זה יותר מבשאר חיובים דרבנן, אפשר דהוא משום דמ"מ הוא מתפלל באותה שעה, ולא כשאר חיובי דרבנן שמבטלה לגמרי.
וכתב האגרות משה דאין להקשות ע"ז מלשון השו"ע (ס"צ ס"ע ט') ישתדל אדם להתפלל בביהכ"נ עם הציבור, דמשמע לכאו' דהוא רק מעלה, דיש לומר דכוונת השו"ע שלא יקל לדמות טירחות אחרות לטירחא של הליכה של ד' מילין, אלא דצריך לדון בכובד ראש אם באמת יש לדונו כאונס של הילוך ד' מילין.

אומנם
בגמ': א"ר אבהו אמר רשב"ל לגבל ולתפלה ולנטילת ידים ארבעה מילין.
פירש"י דתפלה היינו אם יש בית הכנסת לפניו דרחוק ארבע מילין הולך ומתפלל שם.
הטור (סי' צ') כתב בשם רש"י דשיעור ד' מילין הוא לענין להתפלל במנין, ושינה מלשון רש"י כאן שכתב להתפלל בביהכ"נ. וכתב במלכי בקדש (ח"ב קיא ב) דהטור לשיטתו שסובר שם דהא דאיתא בברכות (ו א) אין תפלתו של אדם נשמעת אלא בבית הכנסת היינו בציבור, אבל רש"י ס"ל דיש מעלה בתפלה בבית הכנסת גם כשאין שם עשרה מתפללין וכמש"כ התר"י (ברכות ד. בדפי הריף והובא בב"י ס"צ).

לסיכום:
הפשט ברש"י שכלל לא דובר כאן על מניין בדווקא וכן ראינו בתוס' שפי' רש"י קשה ועדיף עליו פי' ר"ח וא"כ אין כלל מקור לחיוב תפילה במנין דווקא אלא כלש' הרמב"ם (והשו"ע) מעלה ויתרון יש בכך