2026-10-20
تا حالا شده از ChatGPT یا یه مدل مشابه یه چیزی بپرسی، جواب خیلی مطمئن و مرتب بده، و بعد بفهمی کاملاً اشتباه بوده؟
مثلاً یه کتاب یا مقاله‌ای رو معرفی کرده که اصلاً وجود نداره. یا یه تابعی تو کد استفاده کرده که تو اون کتابخونه نیست.
به این اتفاق می‌گن Hallucination یا «توهم هوش مصنوعی». بیا بفهمیم چرا میفته.
برای اینکه بفهمیم، باید بدونیم مدل‌های زبانی چطور کار می‌کنن. ساده‌ش اینه: این مدل‌ها یاد گرفتن کلمه‌ی بعدی رو حدس بزنن، اونم بر اساس الگوهایی که تو حجم زیادی متن دیدن.
هدفشون «درست گفتن» نیست؛ هدفشون «ادامه‌ی محتمل متن» رو تولید کردنه. بیشتر وقت‌ها ادامه‌ی محتمل همون جواب درسته. ولی گاهی نه.
وقتی مدل جواب دقیق رو نمی‌دونه، معمولاً نمی‌گه «نمی‌دونم». یه جواب شبیه درست می‌سازه، چون شبیه درست بودن همون چیزیه که یاد گرفته.
۱. اطلاعات لازم رو خودت بده. به‌جای اینکه از حافظه‌ی مدل بپرسی، متن یا سند رو بذار تو سؤال و بگو «فقط بر اساس همین جواب بده». خیلی تأثیر داره.
۲. بگو اگه نمی‌دونه، بگه. مثلاً: «اگه مطمئن نیستی، بگو نمی‌دونم، حدس نزن.» همیشه جواب نمی‌ده، ولی کمک می‌کنه.
۳. سؤال رو کوچیک کن. یه سؤال بزرگ و مبهم بیشتر احتمال خطا داره.
۴. تو کد، اجراش کن. کدی که هوش مصنوعی داده تا اجرا و تست نشده، قابل اعتماد نیست.
۵. برای کارهای مهم، همیشه بررسی انسانی. پزشکی، حقوقی، مالی و امنیتی، بدون چک کردن نه.
فرض کن از هوش مصنوعی می‌خوای با یه کتابخونه یه کاری رو انجام بده. تابعی پیشنهاد می‌ده که اسمش خیلی منطقی به نظر می‌رسه. کد رو کپی می‌کنی، اجرا می‌کنی و خطا می‌گیری: تابع وجود نداره.
اگه تازه‌کار باشی ممکنه فکر کنی مشکل از خودته. در حالی که مدل اون اسم رو «ساخته».
برای همین می‌گیم هوش مصنوعی رو چک کن، نه اینکه بهش اعتماد کنی. و برای چک کردن باید خودت پایه رو بلد باشی.
اگه می‌خوای یاد بگیری چطور با هوش مصنوعی درست کار کنی و ببینی کجا ازش مراقب باشی، وبینار «من و لشکر ایجنت‌هایم» از همین‌جا شروع می‌کنه. بزن بریم!