כשחושבים על מרכז נתונים מבוסס בינה מלאכותית, רוב האנשים מדמיינים שרתים ענקיים עמוסים בכרטיסי מסך של NVIDIA בשווי מיליוני דולרים. אבל סטארט-אפ סיני אחד הראה שיש דרך שונה לחלוטין. במקום שרתי בינה מלאכותית ייעודיים, הוא בנה תשתית של כ-1,000 מחשבים. Mac mini עם שבב Apple M4המטרה פשוטה - להפעיל בינה מלאכותית בזול, ביעילות רבה יותר וללא כלoneעמלות עבור cloudשירותי דואר אלקטרוני.
Apple Mac mini ה-M4 בהחלט לא תוכנן כשרת למרכז נתונים, אך הוא צובר תאוצה בקרב מפתחי בינה מלאכותית הודות לשילוב של מחיר נמוך, ביצועים גבוהים וצריכת חשמל נמוכה במיוחד. תצורת מק בסיסית mini מחיר ה-M4 הוא 599 דולר וצורך כ-10 עד 30 וואט של חשמל תחת עומסי עבודה טיפוסיים של בינה מלאכותית. זה פחות משמעותית משרתים ייעודיים עם כרטיסי מסך חזקים, שבדרך כלל צורכים מאות וואט לכרטיס. במקרה של הסטארט-אפ הסיני, זה הביא לחווה של כאלף מחשבי מק. mini, אשר יחד משרתים את הדרישות להפעלת מודלים של שפה גדולים.
אתה יכול להתעניין
זה לא עניין של אימון בינה מלאכותית, זה עניין של להפעיל אותה.
חשוב לציין שתשתית כזו אינה משמשת לאימון דגמי הבינה המלאכותית הגדולים ביותר. תחום זה עדיין נשלט על ידי מאיצי גרפיקה של NVIDIA כמו ה-H100 או הדורות החדשים יותר של Blackwell. Mac mini אבל יש לו משימה שונה. הוא אידיאלי למה שנקרא הסקת מסקנות של בינה מלאכותית, כלומר מצב שבו מודל שכבר אומן עונה על שאילתות משתמש או מבצע משימות ספציפיות. כאן יעילות אנרגטית גבוהה יכולה להיות חשובה הרבה יותר מביצועים מוחלטים. אחד היתרונות הגדולים ביותר של השבב הוא... Apple M4 היא ארכיטקטורת זיכרון מאוחד. המעבד והכרטיס הגרפי חולקים את אותו זיכרון פעולה, כך שאין צורך להעתיק נתונים כל הזמן בין חלקים בודדים במערכת. זה מביא ליעילות רבה יותר בעבודה עם מודלי שפה גדולים ומפחית את צריכת האנרגיה של המערכת כולה. זו בדיוק הסיבה Mac mini צברה פופולריות בקרב מפתחים המשתמשים בכלים לפעולות בינה מלאכותית מקומיות.
אחת הסיבות העיקריות לכך שחברות בונות פרויקטים כאלה היא העלויות הגוברות של cloudשירותים אלקטרוניים. כל שאילתה שנשלחת למודל בינה מלאכותית מרוחק כרוכה בתשלום נוסף. ככל שיותר משתמשים משתמשים בשירות, כך העלויות החודשיות גבוהות יותר. עם זאת, אם לחברה יש חומרה משלה, המצב משתנה. לאחר תשלום עלויות הרכישה, היא משלמת בעיקר עבור חשמל וניהול תשתיות שוטף. לכן, העלויות עבור שאילתות בינה מלאכותית בודדות יכולות להיות נמוכות משמעותית.
צפו בפוסט באינסטגרם
כלים מודרניים בקוד פתוח תורמים גם הם להתרחבות פתרונות דומים. אחד המפורסמים ביותר הוא Ollama, המאפשר הרצת מודלי שפה גדולים ישירות על מחשבים מקומיים. ניתן לחבר מחשבי מק בודדים ליחידה אחת ולשרת יחד בקשות דרך רשת מקומית. לפיכך, מפתחים מקבלים תשתית בינה מלאכותית משלהם מבלי להסתמך על גישה מרחוק. cloudשירותים. בשנת 2025 ו-2026, תהיה מגמה הולכת וגוברת שבה חברות יפסיקו לשכור כוח מחשוב מחברות גדולות לטווח ארוך. cloudחברות ולהתחיל להשקיע בחומרה משלהן. הסיבה פשוטה. ברגע שהתשתית משולמת, החשבון עבור cloud גדלים בכל חודש. Pro עבור חברות עם מספר גבוה של שאילתות בינה מלאכותית, זה יכול להיות חיסכון כספי משמעותי. Mac mini יתר על כן, הוא מתרחב היטב בזכות גודלו. בשטח שבדרך כלל היה תפוס על ידי מספר שרתים גדולים, ניתן למקם עשרות מחשבים קטנים, שצריכת החשמל שלהם נשארת נמוכה יחסית.
למרות ש Apple מעולם לא הציגה את המחשבים שלה כפתרון למרכזי נתונים, דווקא הופעתה של בינה מלאכותית מקומית היא שפותחת אפשרויות חדשות לשימוש בהם. Mac mini הופך בהדרגה לאלטרנטיבה מעניינת עבור חברות שצריכות להפעיל מודלים משלהן של בינה מלאכותית ביעילות, בזול וללא תלות ב- cloudשירותים. לא סביר שמחשבי מק יוחלפו בשרתים החזקים ביותר עם מאיצי גרפיקה של NVIDIA בעתיד הנראה לעין. אבל הם מראים שלמשימות רבות, חומרה יקרה במיוחד לא תמיד נדרשת. לפעמים יכול להיות רווחי יותר לבנות תשתית ממספר רב של מחשבים קטנים וחסכוניים באנרגיה. וזה בדיוק מה שהדגים סטארט-אפ סיני. במקום כמה שרתי בינה מלאכותית מפלצתיים, הוא יצר מרכז נתונים המורכב מאלף מחשבי מק. miniאם גישה דומה תוכח כמוצלחת בחברות אחרות, זה יכול להיות אחד הכיוונים המעניינים ביותר שבינה מלאכותית תיקח בשנים הקרובות.
