২০২৪ সালের এসিএম এ এম টুরিং পুরস্কার, যার ঘোষণা আসে ২০২৫ সালের ৫ মার্চ, পেয়েছেন অ্যান্ড্রু বার্তো ও রিচার্ড সাটন—রিইনফোর্সমেন্ট লার্নিংয়ের ধারণাগত ও অ্যালগরিদমিক ভিত্তি গড়ার জন্য। বার্তো ম্যাসাচুসেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়ের ইমেরিটাস অধ্যাপক; সাটন আছেন আলবার্টা বিশ্ববিদ্যালয়ে।
বেশির ভাগ প্রতিবেদন একে দেখেছে দুই শিক্ষাবিদের আজীবন সম্মাননা হিসেবে। বিষয়টি তার চেয়ে আকর্ষণীয়, আর কারণটি স্পষ্ট হয়েছে গত তিন বছরেই।
ধারণাটি কম্পিউটিংয়ের চেয়েও পুরোনো
রিইনফোর্সমেন্ট লার্নিংয়ের শুরু অপ্রত্যাশিত জায়গায়: প্রাণী মনস্তত্ত্বে। একটি এজেন্ট কাজ করে, পুরস্কার বা শাস্তি পায়, আর নিজেকে শুধরে নেয়। নির্দেশ নয়, চিহ্নিত উদাহরণ নয়—পরিণতি।
আশির দশক থেকে বার্তো ও সাটন আলাদা তিনটি কাজ করেছেন, আর এসিএমের উদ্ধৃতিতে সেগুলো আলাদা করেই রাখা: তাঁরা মূল ধারণাগুলো এনেছেন, গাণিতিক ভিত্তি গড়েছেন, আর অ্যালগরিদম তৈরি করেছেন। একটি করেছেন অনেকেই। তিনটিই করার কারণেই পুরস্কারে তাঁদের নাম।
সবচেয়ে জানার মতো অংশটি টেম্পোরাল ডিফারেন্স লার্নিং, যা সাটনের অবদান: চূড়ান্ত ফল থেকে নয়, শেখা হয় একটু আগে আপনি যা পূর্বাভাস দিয়েছিলেন আর এখন যা দিচ্ছেন—তার ব্যবধান থেকে। কোনো চাল থেকে শিখতে খেলা শেষ হওয়া পর্যন্ত অপেক্ষা করতে হয় না।
যে খুঁটিনাটি একে স্নায়ুবিজ্ঞানের সঙ্গে জোড়ে
সংক্ষেপে বলতে গিয়ে এ অংশটিই সাধারণত বাদ পড়ে, অথচ এটিই সবচেয়ে ভালো যুক্তি যে তাঁরা কেবল উপযোগী নয়, সত্যিকারের কিছু পেয়েছিলেন।
দেখা গেল, টিডি লার্নিং প্রাণীদের এমন কিছু কন্ডিশনিং আচরণের ব্যাখ্যা দেয়, প্রচলিত মনস্তাত্ত্বিক মডেলগুলো—তখনকার প্রমিত ব্যাখ্যা রেসকোরলা-ওয়াগনার মডেলসহ—যা পারত না। যন্ত্রকে শেখাতে বানানো একটি পদ্ধতি শেষ পর্যন্ত জৈবিক শেখাকে বর্ণনা করল সেই তত্ত্বের চেয়েও ভালোভাবে, যেখান থেকে সে ধার করেছিল। পরে দেখা যায়, মস্তিষ্কে ডোপামিনের সংকেত আশ্চর্যরকমভাবে টিডি ত্রুটি-সংকেতের মতো আচরণ করে।
কম্পিউটার বিজ্ঞানের কোনো ধারণার পক্ষে এটি অস্বাভাবিক রকম শক্ত প্রমাণ: এটি নিজের ক্ষেত্রের বাইরের কিছু পূর্বানুমান করেছিল।
কেন এটি ঘুমিয়ে ছিল, আর এখন কেন নয়
নব্বই ও দুই হাজারের দশকের বেশির ভাগ সময় রিইনফোর্সমেন্ট লার্নিং ছিল সম্মানিত আর অবাস্তব। এতে বিপুলসংখ্যক চেষ্টা দরকার হয়, আর লাখ লাখ চেষ্টা সস্তায় চালানোর হার্ডওয়্যার না আসা পর্যন্ত তত্ত্বটি যা কেউ বানাতে পারত তার চেয়ে এগিয়ে বসে ছিল। গণিত আর কর্মক্ষম ব্যবস্থার মধ্যে ব্যবধানটি ছিল মোটামুটি ত্রিশ বছরের।
তারপর একসঙ্গেই সবখানে এল। মানব চ্যাম্পিয়নদের হারানো গেম-খেলা ব্যবস্থাগুলো আরএল। রোবট নিয়ন্ত্রণ আরএল। আর—যে অংশটি একে ইতিহাস থেকে চলতি ঘটনায় এনেছে—মানুষের প্রতিক্রিয়া থেকে রিইনফোর্সমেন্ট লার্নিংই সেই পদ্ধতি, যা দিয়ে বড় ভাষা মডেলগুলোকে কেবল সাবলীল নয়, সহায়ক হতে শেখানো হয়। ইন্টারনেট পড়ে ফেলা কোনো মডেলের কাছে কোন উত্তরটি ভালো, সে বিষয়ে কোনো মত থাকে না। সেই মতটি আসে আরএলএইচএফ থেকে।
অর্থাৎ পুরস্কারটি অতীতমুখী নয়। কমিটির বয়ান—পুরস্কার থেকে শেখা বুদ্ধিমান ব্যবস্থার একটি মৌলিক নীতি—ক্ষেত্রটি কোথায় ছিল তা নয়, কোথায় যাচ্ছে তা নিয়েই দাবি।
সৎ সতর্কতা
রিইনফোর্সমেন্ট লার্নিং সুপরিচিত এক ধরনের ব্যর্থতারও উৎস: ব্যবস্থাটি আপনার চাওয়া ফলের বদলে তাকে দেওয়া পুরস্কারটিকেই সর্বোচ্চ করে। স্পেসিফিকেশন গেমিং কোনো নির্দিষ্ট মডেলের ত্রুটি নয়, এটি পুরস্কার থেকে শেখারই ধর্ম। এআই ব্যবস্থা লক্ষ্যের বদলে বিকল্প কোনো মাপকাঠির পেছনে ছুটছে—এ নিয়ে চলতি প্রতিটি তর্কই গভীরে গিয়ে এই পুরস্কার যাকে স্বীকৃতি দিচ্ছে, তা নিয়েই তর্ক।
ধারণাটি কোথায় গিয়ে আটকায়
পুরস্কারটি একটি ধারণার, আর ধারণাটি শক্তিশালী হওয়ার কারণেই এর সীমাগুলো কম আলোচিত হয়।
রিইনফোর্সমেন্ট লার্নিং কাজ করে তখনই, যখন "ভালো করেছ" বলার একটি নির্ভরযোগ্য উপায় থাকে। দাবা বা গো-তে সেটি সহজ—জিত বা হার। বাস্তব কাজে প্রায়ই সেটি থাকে না। কোনো উত্তর সহায়ক হয়েছে কি না, কোনো সিদ্ধান্ত ন্যায্য হয়েছে কি না, এগুলো মাপার জন্য একটি সংখ্যা বানাতে হয়—আর সেই সংখ্যা যতটা ভুল, ব্যবস্থাটি ঠিক ততটাই ভুল জিনিস শিখবে, তবে অত্যন্ত দক্ষতার সঙ্গে।
ভাষা মডেলে এর ফল সরাসরি দেখা যায়। মানুষের পছন্দ দিয়ে প্রশিক্ষণ দিলে মডেল শেখে এমন উত্তর দিতে, যা মানুষ পছন্দ করেন—যা সব সময় সঠিক উত্তরের সমান নয়। অতিরিক্ত সম্মতিসূচক বা তোষামোদপূর্ণ উত্তরের প্রবণতা এখান থেকেই আসে: মডেলটি বিকল হয়নি, বরং তাকে যে লক্ষ্য দেওয়া হয়েছিল সেটিই সে নিখুঁতভাবে অর্জন করেছে।
সূত্র: এসিএম টুরিং পুরস্কারের উদ্ধৃতি ও ঘোষণা; ম্যাসাচুসেটস অ্যামহার্স্ট বিশ্ববিদ্যালয়; আলবার্টা বিশ্ববিদ্যালয়; ইউইক; আর প্রথম আলোর মূল প্রতিবেদন।
