במשנה ובתלמוד המילה "כנסת" מופיעה בעיקר בביטוי כנסת הגדולה או כשם נרדף לבית כנסת (למשל: "חזן הכנסת נוטל ספר תורה ונותנו לראש הכנסת" (משנה יומא ז א), "זה שנכנס לכנסת ומצאן עומדין לתפילה" (ירושלמי סנהדרין ב ב)). בכל מקרה משמעה איסוף וכינוס, כבמקרא: ”לֵךְ כְּנוֹס אֶת כָּל הַיְּהוּדִים“ (אסתר ד, פסוק טז) ואחרים. לעתים מופיעה המילה "כנסיה" במשמעות זו, למשל: "כל כנסיה שהיא לשם שמים, סופה להתקים, ושאינה לשם שמים, אין סופה להתקים" (משנה אבות ד יא)
מוסד הכנסת נקרא על־שם המוסד המחוקק שפעל בארץ־ישראל במאות הראשונות אחרי שיבת ציון, הוא "כנסת הגדולה", הנזכרת במסכת אבות: "משה קבל תורה מסיני ומסרה ליהושע ויהושע לזקנים וזקנים לנביאים ונביאים מסרוה לאנשי כנסת הגדולה" (משנה אבות א א)). שמה של הכנסת נקבע לה ב"כלל המעבר" בתאריך י"ז בשבט תש"ט, יומיים לאחר פתיחת מושבה הראשון.