מסופר על הרב מפוניבז', הגאון רבי יוסף שלמה כהנמן, יום אחד ישב אצלו אדם מוזר שהכרת פניו ענתה בו כי איננו שפוי לגמרי בדעתו. הלה ישב והשמיע באזני הרב סיפורים דמיוניים. הרב כהנמן באצילותו יושב ומקשיב לו באורך רוח, בסבלנות מרובה, מבלי לגלות, חלילה, שמץ של אי שביעות רצון.
בני הישיבה, שנכנסו באקראי אל הבית רצו, לקרוא בתחבולה לאיש החוצה – לבל יוסיף להיות לטרוח – אולם הרב הבחין בכוונתם ורמז להם שיניחו לו. כיון שהתאחרה ישיבתו יתר על המידה, ניסתה גם הרבנית "לשחרר" אותו בטכסיס אחר. היא קראה לבעלה הרב לבוא אל השלחן לסעוד ארוחת ערב, בתקוה שהלה יבין כי הגיעה שעתו ללכת מהמקום…
אולם, לגודל הפתעתה, באותו רגע הציע הרב מפוניבז' לאיש "יבוא מר ויצטרף אלינו לסעודה". אחר כך ישב הלה והמשיך בדבוריו עמו עוד שעה ארוכה…
