"אמר לו רבי אלעזר בן עזריה: עקיבא, מה לך אצל הגדה? כלך מדברותיך אצל נגעים ואהלות!".
זו הגירסא במסכת חגיגה דף יד. וכך הכריע הרמב"ם בפירוש המשנה לרמב"ם בהקדמה למסכת כלים, ע"פ בראשית רבה.
והפירוש: לֵךְ (כמו בשבת דף קמה: ) והולך את דְּבָרֶיךָ (כמו בדברים לג, ג) לעניני נגעים ואהלות.

הקשה ר' צדוק הכהן מלובלין בפרי צדיק פרשת שמות אות י
"איך יתכן לומר כן לרבי עקיבא שנכנס לפרדס, ובודאי היה חלקו בסתרי ורזי התורה, ואיך יאמר לו מה לך אצל הגדה?"

דומה לזה הקשה בשו"ת מנחת יצחק חלק ג סימן לח
"הלא אגדה היא חלק מתורה שבעל פה, משנה תלמוד הלכות אגדה, יש זוכה למקרא, ויש למשנה, ויש לתלמוד, ויש להגדה, ויש זוכה לכולן (מ"ר ויקרא פט"ו), ומדוע יגרע ר' עקיבא, שנאמר לו מה לך אצל אגדה?"
ותירץ שם:
"אין שום רשות למי שחנן אותו השי"ת דיעה לאסוקי שמעתא אליבא דהלכתא, להסתלק עצמו מזה, וטען טענה נצחית, מה לך אצל אגדה, כלך אצל נגעים ואהלות, ורצונו להראות באצבע, על הבעיות הקשות מאד".

כלומר שרק יחידי סגולה נחונו בכישורים לעסוק בדברים הקשים של נגעים ואהלות, ואין ראוי שיכלו זמנם בדברים קלים יותר, כדברי הגדה.
וכן המשמעות בפירוש המשנה לרמב"ם שם.

וכך עולה גם מדברי שו"ת משנה הלכות חלק ג סימן קד
"אין דרכי לכתוב בדברי אגדה מחמת חוסר הפנאי, וכבר אמרו עקיבא מה לך אצל הגדה כלך אצל נגעים ואהלות".