NVIDIA • Nemotron Labs Dory 1.0 4B
אנבידיה משחררת את Nemotron Labs Dory 1.0 4B, מודל שפה חדש בעל ארכיטקטורה ניסיונית ומעניינת במיוחד, המאפשרת להגדיל את יכולות החשיבה של המודל באמצעות הקצאת כוח חישוב נוסף, מבלי להגדיל את מספר הפרמטרים או להחליף מודל.
[image: 1792274997213-fcfefb3f-f3cd-47ff-bf02-2a8faf862b9b-image-resized.jpeg]
המודל כולל 4B פרמטרים בלבד, אך באמצעות מנגנון חישוב חוזר (Looping) הוא מסוגל להגיע לביצועים של מודלים גדולים משמעותית ממנו.
במילים אחרות, ייתכן שמדובר בהתקדמות ארכיטקטורית עצומה, שמאפשרת חישוב ברמת מודלים גדולים על חומרה חלשה בהרבה, מה שמחזק את יכולות ההיגיון והחשיבה, למרות שהידע הוא אותו ידע (אותו אפשר להגדיל באמצעות טכנולוגיית n-gram שאינה מצריכה זיכרון).
יש לציין, שלפי דיווחים לא רשמיים וחישובים שבוצעו, ייתכן שסדרת GPT 6 פועלת באותו אופן, כשכל מודל בסדרה משתמש במספר אחר של לולאות חישוב על אותו מודל בסיסי. מיקרוסופט (שמריצה את מודלי GPT על שרתי Azure) אישרה ש-GPT 6 משתמש בארכיטקטורה הזו, אך לא אישרה את הדיווח שמדובר באותו מודל יחיד.
עיקרי החידושים:
ארכיטקטורת Looped LM: במקום להעביר כל טוקן דרך שכבות המודל פעם אחת בלבד, Dory כולל קבוצת שכבות משותפת המופעלת מספר פעמים ברציפות. הארכיטקטורה מורכבת מ-8 שכבות קלט, 20 שכבות חוזרות ו-8 שכבות פלט.
שליטה בעומק החישוב: ניתן לבחור בין 1, 2 או 4 חזרות על אותן שכבות, בהתאם למורכבות המשימה ולמשאבי המחשב. כך ניתן להגדיל את איכות התשובות בלי לטעון משקלים נוספים לזיכרון.
חשיבה יעילה יותר: החישוב הנוסף מתבצע בתוך הרשת עצמה, לפני יצירת הטוקן הבא, ולא באמצעות יצירת טוקנים נוספים של Reasoning. לדברי המפתחים, הגדלת מספר החזרות אף מפחיתה את כמות טוקני הפלט הדרושים לפתרון משימות.
חיסכון בזיכרון: מנגנון Last-Loop KV Cache מאפשר להשתמש באותו KV Cache לאורך כל החזרות, במקום לשמור מטמון נפרד לכל אחת מהן. כך ניתן להגדיל את עומק החישוב כמעט ללא תוספת זיכרון למטמון.
ארכיטקטורה ואימון: המודל מבוסס על normalized-GPT, עם שילוב של Sliding Window Attention ו-Full Attention. הוא אומן גם באמצעות NVFP4, פורמט ה-4 ביט של NVIDIA, לפני המשך האימון ב-BF16.
חלון הקשר: תמיכה בעד 256K טוקנים, לצד יכולות Reasoning, שימוש בכלים והפעלת סוכנים.
מדדים:
על פי הבדיקות שפרסמה NVIDIA, הגדלת מספר החזרות משפרת משמעותית את ביצועי המודל.
ב-SWE-bench Verified הציון עולה מ-50.3 בחזרה אחת ל-59.5 בשתי חזרות ול-61.8 בארבע חזרות, לעומת 61 של Qwen3.5-9B.
ב-IFBench המודל מגיע לציון 79 בארבע חזרות, לעומת 59 של Qwen3.5-9B, ובמבחן AA-LCR להבנת הקשר ארוך הוא מגיע לציון 73, לעומת 68.4 של Qwen3.5-9B ו-68.5 של Qwen3.6-35B-A3B.
עם זאת, במבחנים אחרים כמו GPQA Diamond ו-Terminal-Bench, המודלים הגדולים עדיין מציגים יתרון משמעותי.
[image: 1792274983632-ff4f5f98-0618-4af8-9117-580f1099f0c5-image.jpeg]
זמינות:
המודל שוחרר במשקלים פתוחים תחת רישיון OpenMDW 1.1, המאפשר גם שימוש מסחרי.
זמינות גרסאות BF16, MXFP8, NVFP4 ו-GGUF רשמית בכימות Q5_K_M, בנפח של כ-3.67GB.
קיימת תמיכה ראשונית ב-llama.cpp וב-vLLM באמצעות ענפי פיתוח ייעודיים, אך התמיכה עדיין לא שולבה בגרסאות הרשמיות היציבות של התוכנות.
קישורים:
כרטיס המודל הרשמי והמדדים:
https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16
גרסת GGUF רשמית:
https://huggingface.co/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF
בקשת התמיכה ב-llama.cpp:
https://github.com/ggml-org/llama.cpp/pull/30306
 { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}