(לעיל כתבתי "ודעה זו ידועה גם מהגאונים" ולא הבאתי את המקור. אני עושה זאת עכשיו.)

אחד המקורות הוא מ-"אוצר הגאונים- מסכת יו"ט, חגיגה ומשקין" בפירוש רב האי גאון למסכת חגיגה יד. (שם. חגיגה סוף עמ' 59 והמשך בעמ' 60):

"הוו יודעים כי דברי אגדה לאו כשמועה הם אלא כל אחד דורש מה שעלה על לבו כגון אפשר ויש לומר, לא דבר חתוך, לפיכך אין סומכים עליהם. וכו'".

ובעמ' 60 (סי' סח):

"כתב רב שרירא גאון ז"ל במגילת סתרים על עניין האגדות הני מילי דנפקי מפסוקי (מקרא) [ומקרי] מדרש ואגדה אומדנא נינהו... לכן אין סומכין על אגדה ואמרו אין למדין מן האגדות... והנכון מהם מה שמתחזק מן השכל ומן המקרא נקבל מהם ואין סוף ותכלה לאגדות" .