GPT-তে বাংলায় ইংরেজির চেয়ে 1.68× টোকেন লাগে

Jonhisking · 2026-10-01

একই কাস্টমার-সাপোর্ট প্রম্পট ৩৪টি ভাষায় অনুবাদ করে OpenAI-এর বর্তমান o200k_base টোকেনাইজার (GPT-4o ও পরের মডেল) দিয়ে টোকেন গোনা হয়েছে। ইংরেজিতে লাগে 34 টোকেন, বাংলায় 57 টোকেন — ইংরেজির 1.68×; 34টি ভাষার মধ্যে সবচেয়ে সস্তা থেকে গুনলে 26 নম্বরে।

বাংলা সংস্করণ:

নিচের গ্রাহকের ইমেলটি তিনটি পয়েন্টে সংক্ষেপ করুন এবং একটি বিনীত উত্তর প্রস্তাব করুন। গ্রাহক বলছেন অর্ডারটি দুই দিন দেরিতে এসেছে এবং বাক্স থেকে একটি জিনিস অনুপস্থিত ছিল।

ফলাফল

ভাষা	টোকেন	ইংরেজির তুলনায়	পুরোনো GPT-4 টোকেনাইজার
English	34	1.00×	1.00×
简体中文	35	1.03×	1.53×
Español	40	1.18×	1.29×
Deutsch	43	1.26×	1.50×
한국어	49	1.44×	2.50×
বাংলা	57	1.68×	6.09×
日本語	61	1.79×	2.21×
Čeština	68	2.00×	2.59×
Ελληνικά	70	2.06×	4.94×

ফলাফল

কেন

টোকেনাইজার মূলত ইংরেজি লেখা থেকে শেখে: " polite" বা " customer"-এর মতো শব্দ একটিই টোকেন, কিন্তু অনেক বাংলা শব্দ কার-চিহ্নসহ টুকরো হয়ে যায়:

পয়েন্টে → প | য় | েন্ট | ে · 4
অর্ডারটি → অ | র্ড | ার | টি · 4
ইমেলটি → ই | ম | েল | টি · 4

পুরোনো টোকেনাইজারের সঙ্গে তুলনা

GPT-4 যুগের টোকেনাইজারে (cl100k) একই প্রম্পট ছিল 6.09×, এখন 1.68×। অর্থাৎ বাংলার খরচ প্রায় চার ভাগের এক ভাগে নেমেছে — ৩৪টি ভাষার মধ্যে সবচেয়ে বড় উন্নতি।

টাকার হিসাবে

প্রতি ১০ লাখ ইনপুট টোকেনে ২ ডলারের একটি মডেলে এই প্রম্পট ১০ লাখ বার পাঠাতে ইংরেজিতে 68 ডলার আর বাংলায় 114 ডলার খরচ হয়। উত্তরও বাংলায় হলে একই গুণক আউটপুট টোকেনেও লাগে, যা সাধারণত ৪–৫ গুণ দামি।

কীভাবে সাশ্রয় করবেন

সিস্টেম প্রম্পট ও স্থায়ী নির্দেশনা ইংরেজিতে লিখুন; শুধু ব্যবহারকারীর ইনপুট বাংলায় রাখুন।
মাঝের ধাপগুলো (শ্রেণিবিন্যাস, তথ্য বের করা, টুল কল) ইংরেজি বা JSON-এ নিন, শুধু শেষ উত্তর বাংলায়।
প্রম্পটের স্থায়ী অংশে প্রম্পট ক্যাশিং ব্যবহার করুন।

সীমাবদ্ধতা

একটিমাত্র প্রম্পট মাপা হয়েছে; অন্য লেখায় অনুপাত ±0.1–0.2 বদলাতে পারে।
Claude ও Gemini-এর টোকেনাইজার আলাদা; এই সংখ্যাগুলো শুধু OpenAI মডেলের জন্য।
অনুবাদ যাচাই করা মেশিন অনুবাদের ওপর ভিত্তি করে।

৩৪টি ভাষার পূর্ণ ফলাফল (ইংরেজিতে): ৩৪ ভাষার তুলনা

নিজের লেখা মেপে দেখুন: আপনার বাংলা প্রম্পট ইংরেজির তুলনায় কত টোকেন ও কত খরচ নেয়।

টোকেন কাউন্টার খুলুন →