באותם ימים, היו הרומאים, ובראשם הקיסר אדריינוס, רודפים את היהודים בכל מקום. הם גזרו גזירות קשות על היהודים על מנת שימירו את דתם. דור זה נקרא "דור של שמד", כי זו היתה מטרתם העיקרית של הרומאים: השמדה רוחנית של עם ישראל. הם הוציאו להורג את עשרת הרוגי מלכות, וביניהם גם את רבותיו של רבי שמעון. לאחר מכן, כשעלה על כס קיסרות רומי המלך אנטונינוס פיאוס, הוקל מעט עולם של הרומאים, אולם רבי שמעון עצמו נרדף על ידם והוצא עליו גזר דין מוות, כיון שלימד את העם תורה והנהיג אותם.

כשנודע הדבר לרבי שמעון, ברח עם בנו, רבי אלעזר, והתחבא בבית המדרש, ובכל יום הביאה להם אשתו פת לחם וכד מים.

כשגברו החיפושים, חשש רבי שמעון שמא יתפסו אנשי המלכות את אשתו ויענו אותה, ומייסוריה תגלה להם את מקום מחבואם. יצאו רבי שמעון ובנו מבית המדרש והסתתרו במערה שהיתה מחוץ לעיר, בכפר פקיעין. עשה להם ה' נס וסמוך למערה בה הסתתרו, נבקע מעיין מים וצמח עץ חרובים.

בזמן שהותם במערה, פשטו רבי שמעון ובנו את בגדיהם כדי שלא יתבלו, וכשעסקו בתורה היו מכסים את עצמם עד צווארם בחול. ורק בשעת התפילה לבשו את בגדיהם והתפללו בהם.

שתים עשרה שנה ישבו במערה, כשאיש לא יודע את מקום מחבואם, מלבד אליהו הנביא, שהגיע אליהם פעמיים ביום ולמד עמם. באותו זמן הגיע רבי שמעון למדרגות נשגבות, ונתגלו לו סתרי תורה ורזין דרזין. כשיצא מהמערה גילה סודות אלה לבני החבריא, כפי שהעיד רבי יוסי, שמיום שעזב רבי שמעון את המערה, לא נעלם דבר מהחברים, וסודות עליונים ביותר נתגלו להם בבהירות כה גדולה, כאילו נתנו באותה שעה מהר סיני.

יום אחד קם רבי יוסי בבוקר וראה יונה עפה. מיד קם על רגליו ואמר: "יונה, יונה, הנאמנת בשליחותה מימי המבול! הדיוקן של העם הקדוש לך יאה ולך נאה, שהרי כנסת ישראל נמשלה ליונה. לכי ועשי לי שליחות אחת לבן יוחאי במקום שהוא שם!"

ירדה היונה ונעמדה לפניו. כתב רבי יוסי פתקה, לקחה היונה את הפתקה בפיה, עפה אל רבי שמעון וכשכשה לו בכנפיה. ראה רבי שמעון את הפתקה ובכה, וכך אמר: "בוכה אני על שפרשתי מן החברים, ובוכה אני על הדברים, שלא נתגלו להם".

לעת ערב, כתב רבי שמעון פתק ושם אותו בפי היונה. עפה היונה ובאה לרבי יוסי שעמד עדיין במקומו מצפה לתשובה. כשראה אותה, אמר: "יונה, יונה! נאמנת את יותר מכל עופות השמים!" לקח ממנה את הפתק ונכנס לחברים לספר להם את המעשה. למשמע הדברים תמהו החברים מאד.

בכה רבי יהודה ואמר: "אף על פי שאין אנו יודעים היכן הוא נמצא, מקום שבן יוחאי שם, החברים עמו ומתעוררים על ידו ולומדים ממנו. אשרי נפשו של בן יוחאי, שהקדוש ברוך הוא עושה עמו ניסים. הוא גוזר והקב"ה מקיים. ועתיד להיות ראש לצדיקים היושבים בגן עדן, יקבל פני השכינה, יראה את הקב"ה, ישתעשע עם הצדיקים ויאמר להם: 'באו ונשתחווה ונכרעה, נברכה לפני ה' עושנו'" (תהלים צ"ה, ו').

לאחר שעברו שתים עשרה שנה, מת מלך רומי וגזירת המוות שריחפה מעל רבי שמעון התבטלה. אולם לא היה מי שיודיע על כך לרבי שמעון בר יוחאי. נעמד אליהו בפתח המערה ואמר: "מי יודיע לבן יוחאי שהמלך מת וגזרותיו התבטלו?" שמעו זאת רבי שמעון ובנו ויצאו מהמערה.

בצאתם מהמערה, ראו בני אדם חורשים וזורעים את שדותיהם. התפלא רבי שמעון על בני האדם שנוהגים כמנהגם ואמר: "כיצד מניחין הללו חיי עולם ועוסקים בחיי שעה?" וכל מקום שנתנו בו עיניהם, מיד נשרף. יצאה בת קול ואמרה: "האם יצאתם מהמערה כדי להחריב את עולמי? חזרו למערתכם!"

חזרו רבי שמעון ובנו למערה וישבו שם שנה נוספת. נענה רבי שמעון ואמר: "כבר נענשנו דיינו, כי גם משפט רשעים בגיהנום אינו מעבר לשנים עשר חודש". יצאה בת קול ואמרה: "צאו ממערתכם!"

לאחר שיצאו מהמערה, כשראה רבי אלעזר אנשים שעסקו בהבלי העולם הזה ולא עסקו בתורה, היה מענישם ורבי שמעון מרפאם. אמר רבי שמעון לבנו: "בני, די לעולם אני ואתה, שאנו עוסקים בתורה!"

בערב שבת, עם חשכה, ראו זקן ממהר לביתו כשבידו שתי חבילות הדסים. שאלוהו: "למה לך חבילות אלו?"

אמר להם: "לכבוד שבת הבאתי אותן, להריח בהן".

שוב שאלוהו: "למה לך שתיים, ואין די לך באחת?"

אמר להם: "אחת כנגד 'זכור' ואחת כנגד 'שמור'".

אמר רבי שמעון לבנו: "בוא וראה כמה חביבות הן המצוות על עם ישראל!" שמחו שניהם מאד שמצאו יהודי יקר זה ודעתם התיישבה ונחה, ויותר לא הקפיד רבי אלעזר.

רבי שמעון ובנו היו תשושי כח וגופם העלה חבורות ופצעים בגלל שהותם במערה. כששמע רבי פנחס בן יאיר, חותנו של רבי שמעון, שהוא ובנו יצאו מהמערה, הלך לקבל את פניהם והביאם לטבריה כדי שירחצו בחמי טבריה. הכניסם לבית המרחץ וסך ורחץ את גופם במים ובשמן. כשהבחין רבי פנחס שכל גופם מלא בסדקים ובבקעים, החל לבכות מרוב צערו, ודמעותיו נשרו על פצעיו של רבי שמעון והכאיבו לו מאד. אמר רבי פנחס: "אוי לי שראיתי אותך פצוע ומוכה!"

ענה לו רבי שמעון: "אשריך שראיתני בכך, שאלמלא ראית אותי כן, לא היית מוצא בי כל כך הרבה תורה!"

אמנם גם לפני שהסתתר רבי שמעון במערה היה גדול מאד בתורה. אך לפני שהותו במערה, כאשר היה מקשה קושיה בלימודו, היה רבי פנחס מתרץ שנים עשר תירוצים. ואילו עתה, לאחר שיצא מהמערה, כשהיה רבי פנחס מקשה קושיה, היה רבי שמעון מתרץ עשרים וארבעה תירוצים על קושייתו.