לא כולם יודעים על מקור המילה "פטיש". מקורה מגיע מהמילה הפורטוגלית - "feiticо", שפירושה "מלאכותי או מעושה" - הכוונה לחפץ שיש בו כוחות מאגים, על טבעיים שיכולים להשפיע על אחרים. רעיון שהושאל במקור מפולחן דתי של שבטים ממערב אפריקה, אך גם מוכר לנו מהיהדות בדמות קמעות, בקבוקי מים שבורכו וכדומה.
בעולם המערבי הקתולי, ניתן היה למצוא התייחסות דומה לשרידים עתיקים של קדושים, מחרוזות קסם וקמעות דתיות אחרות. כעבור זמן מה, המילה עברה התפתחות לישונית וחפצים חומריים חריגים אחרים החלו להיקרא במילה הזו עם משמעות דומה - חתיכות עץ, חלוקי נחל, סירים, טפרים, נוצות ודגנים.
בהמשך, מונח זה, קיבל צורה של "fetiche" ו"fetich ",והשתרש בשפה הצרפתית, האנגלית ושפות אירופיות אחרות. משמעות המילה בצרפתית, היא "אליל, קמע." הפילוסוף הצרפתי אוגוסט קונט הרחיב את המושג וכינה אותו כהשקפה אנימיסטית (מהמילה אנימה ביוונית - האמונה שחפצים דוממים הם חיים, בעלי נפש או תכונות של יצורים חיים) של אנשים פרימיטיביים על חפצים חומריים ובכלל פולחן פרימטיבי בכללותו. בימינו מדענים רבים מתייחסים למושג פטישיזם כמושג המתייחס לפולחן בעלי חיים, תופעות טבע וצמחים.