"אמר ר' שמלאי, עדא אמרה: בן עזאי תלמיד חבר דרבי עקיבא הוה, דקאמר ליה: שבאת".

לשון הירושלמי (ראש השנה פרק א ה"א, ובבא בתרא פרק ט ה"ט)
"זאת אומרת שבן עזאי חבר ותלמיד היה לו לרבי עקיבא".

בן עזאי החשיב את רבי עקיבא, כמו שאמרו במסכת בכורות דף נח.
"תניא, בן עזאי אומר: כל חכמי ישראל דומין עלי כקליפת השום חוץ מן הקרח הזה!".
פירש רש"י: "חוץ מן הקרח הזה - היינו רבי עקיבא".

הוא למד ממנו תורה, במסכת ברכות דף כב.
"תנו רבנן: בעל קרי שנתנו עליו תשעה קבין מים - טהור; נחום איש גם זו לחשה לרבי עקיבא, ורבי עקיבא לחשה לבן עזאי".
ובמסכת ברכות דף סב.
"תניא, בן עזאי אומר: פעם אחת נכנסתי אחר רבי עקיבא לבית הכסא, ולמדתי ממנו שלשה דברים".

אך גם קרה שרבי עקיבא למד מבן עזאי, במסכת תענית דף כו.
כל יום שיש בו הלל - אין מעמד בשחרית, קרבן מוסף - אין בנעילה, קרבן עצים - אין במנחה, דברי רבי עקיבא. אמר לו בן עזאי: כך היה רבי יהושע שונה: קרבן מוסף - אין במנחה, קרבן עצים - אין בנעילה. חזר רבי עקיבא להיות שונה כבן עזאי.

ואמרו במסכת כתובות דף סג.
"ברתיה דר"ע עבדא ליה לבן עזאי הכי. והיינו דאמרי אינשי: רחילא בתר רחילא אזלא, כעובדי אמה כך עובדי ברתא".
כלומר שאחר שנשא או קידש (סוטה דף ד: ) בן עזאי את בתו של רבי עקיבא, בטרם נולדו להם צאצאים, שלחה אותו ללמוד תורה. בדומה למה שעשתה אימה לרבי עקיבא.

ואמרו במסכת יבמות דף סג:
"כל מי שאין עוסק בפריה ורביה... בן עזאי אומר: כאילו שופך דמים וממעט הדמות, שנאמר: ואתם פרו ורבו.
אמרו לו לבן עזאי: יש נאה דורש ונאה מקיים, נאה מקיים ואין נאה דורש, ואתה נאה דורש ואין נאה מקיים!
אמר להן בן עזאי: ומה אעשה, שנפשי חשקה בתורה".

וצריך להבין, במה תשובתו ענתה לקושייתם.
ועוד, שהרי שנה רבי חנינא בן דוסא במסכת אבות ג משנה ט
"כל שמעשיו מרובין מחכמתו חכמתו מתקיימת וכל שחכמתו מרובה ממעשיו אין חכמתו מתקיימת".
ומה תועיל לו תורה זו שחפץ בה, אם איננה מתקיימת, שהרי איננו מקיימה במעשים?

אלא שהפליגו חז"ל בחשיבות נשיאת בת תלמיד חכם, (פסחים דף מט. ודף מט: ויומא דף עא.).
ובמיוחד בן עזאי לשיטתו במסכת סוטה ג משנה ד "מכאן אומר בן עזאי חייב אדם ללמד את בתו תורה".
אם כן יש חשיבות יתירה שכל הבית יהיה מושתת ורגיל בתלמוד התורה.

וכיון שלדעת בן עזאי, בין חכמי ישראל, רק רבי עקיבא הוא תלמיד חכם אמיתי,
וכיון שבתו של רבי עקיבא כבר גירשה אותו מהבית ללמוד תורה, וגם אילו היתה לה אחות, הרי כבר נאסר בה,
הרי שלא נותרה לו אפשרות לגרשה בגט ולישא אשה אחרת,
ואין לו ברירה אלא ללמוד תורה בלבד.

וזהו שאמר "ומה אעשה, שנפשי חשקה בתורה", שחשקה נפשי בבת של בן תורה.