sinai.blog
חזרה
·2 min read

איך להריץ Agent-ים עם מודלים חזקים בחינם

AIפיתוחחיסכוןAgentsNvidia

אחרי ששרפתי את מכסת הטוקנים שלי לא פעם בזמן האחרון, החלטתי לבדוק את הגישה החינמית ש-Nvidia מציעה למודלי Open-source. הרשימה שם כוללת את GLM 5.1 ("אופוס הסיני" שהזכרתי פה בעבר), DeepSeek, המודלים של Gemma ועוד.

ההגדרה די מהירה: פותחים משתמש חינמי, מייצרים API Key ומחברים ל-Opencode או ל-Claude Code.

מה הקאטץ'?

זמן התגובה איטי משמעותית. לקידוד אינטראקטיבי זה כנראה ייצר לכם יותר מדי הפסקות קפה, אבל זה פתרון אידיאלי ל-Agent-ים שפועלים אסינכרונית ברקע.

איך מגדירים את החיבור?

קודם כל, נכנסים ל-build.nvidia.com, בוחרים מודל ולוחצים על Get API Key. הכתובת הקבועה של ה-API שלהם היא: https://integrate.api.nvidia.com/v1

1. חיבור ל-Opencode

החיבור ב-Opencode הוא סופר פשוט ומהיר בעזרת שורת הפקודה המובנית:

  1. פותחים את הכלי ומריצים את הפקודה /connect.
  2. מחפשים ובוחרים ב-Nvidia מהרשימה.
  3. מזינים את ה-API Key שהוצאתם.
  4. מריצים /models ובוחרים את המודל הרצוי (למשל zai-org/glm-5). וזהו!

2. חיבור ל-Claude Code

כדי לחבר את ה-Agent של אנתרופיק (Claude Code) לאנבידיה, אנחנו מגדירים משתני סביבה. ה-API של אנבידיה תואם לזה של אנתרופיק (NIM תומך ב-/v1/messages), אז מספיק לעדכן את המשתנים בטרמינל לפני ההרצה:

# ה-ID של המודל כפי שמופיע באנבידיה (למשל עבור GLM 5.1)
export MODEL_NAME="zai-org/glm-5" 

export ANTHROPIC_API_KEY="YOUR_API_KEY"
export ANTHROPIC_BASE_URL="https://integrate.api.nvidia.com/v1"

# הגדרת המודלים כדי שקלוד ישתמש בהם כברירת מחדל
export ANTHROPIC_CUSTOM_MODEL_OPTION="${MODEL_NAME}"
export ANTHROPIC_DEFAULT_HAIKU_MODEL="${MODEL_NAME}"
export ANTHROPIC_DEFAULT_OPUS_MODEL="${MODEL_NAME}"
export ANTHROPIC_DEFAULT_SONNET_MODEL="${MODEL_NAME}"
export CLAUDE_CODE_SUBAGENT_MODEL="${MODEL_NAME}"

# מריצים את ה-Agent כרגיל
claude

קישורים ומקורות

למי שרוצה להעמיק ולראות את הדוקומנטציה המלאה, אלו הקישורים הרשמיים: