Tether গুগলের TurboQuant কে প্রোডাকশনে নিয়ে আসছে, প্রতিদিনের ডিভাইসে দীর্ঘ-প্রসঙ্গ AI আনলক করছে

TLDR:

• TurboQuant মডেলের গুণমানে ন্যূনতম প্রভাব ফেলে AI KV ক্যাশ মেমরি সর্বোচ্চ পাঁচ গুণ পর্যন্ত সংকুচিত করে।
• এই আপগ্রেড ল্যাপটপ ও ফোনকে ক্লাউডের উপর নির্ভর না করে দীর্ঘতর AI সেশন চালাতে সক্ষম করে।
• QVAC SDK 0.12.0 TurboQuant-কে Fabric-এ একীভূত করে, স্থানীয় AI উন্নয়নের বিকল্পগুলো প্রসারিত করে।
• Tether দক্ষ ইনফারেন্সকে শেষ ব্যবহারকারীদের কাছে নিয়ে আসার মাধ্যমে গোপনীয়তা-কেন্দ্রিক AI অগ্রসর করার লক্ষ্য রাখে।

Tether-এর AI রিসার্চ গ্রুপ TurboQuant-এর একটি ওপেন-সোর্স প্রোডাকশন সংস্করণ প্রকাশ করেছে, যা মূলত Google Research কর্তৃক উদ্ভাবিত একটি মেমরি কম্প্রেশন অ্যালগরিদম।

এই রিলিজটি QVAC SDK 0.12.0-এর অংশ এবং এটি ল্যাপটপ, ফোন, এজ ডিভাইস ও বিকেন্দ্রীভূত নেটওয়ার্কগুলোকে লক্ষ্য করে। এটি স্থানীয় AI মডেলগুলোকে ক্লাউড অবকাঠামোর উপর নির্ভর না করে দীর্ঘতর সেশন পরিচালনা করতে দেয়।

এটি অন-ডিভাইস AI কীভাবে মেমরি-নিবিড় কাজগুলো পরিচালনা করে তাতে একটি ব্যবহারিক পরিবর্তন চিহ্নিত করে।

TurboQuant AI মেমরি সর্বোচ্চ পাঁচ গুণ পর্যন্ত সংকুচিত করে

ভোক্তা হার্ডওয়্যারে সক্ষম AI মডেল চালানোর ক্ষেত্রে মেমরি দীর্ঘদিন ধরে একটি বাধা হয়ে আসছে। যখন একটি AI সহকারী একটি দীর্ঘ ডকুমেন্ট বা কথোপকথন প্রক্রিয়া করে, তখন এটি সেই প্রসঙ্গ KV ক্যাশ নামে পরিচিত জায়গায় সংরক্ষণ করে।

প্রায় ২,৬২,০০০ টোকেনে, একটি 4B মডেলের KV ক্যাশ একাই প্রায় ৮ GB মেমরি ব্যবহার করতে পারে। চারটি একযোগে সেশন মডেলটি গণনার আগেই সেই সংখ্যা ৩২ GB-তে নিয়ে যেতে পারে।

TurboQuant এটি সমাধান করে KV ক্যাশকে সর্বোচ্চ পাঁচ গুণ পর্যন্ত সংকুচিত করে, একই সাথে আউটপুট গুণমান একটি অসংকুচিত মডেলের কাছাকাছি বজায় রেখে।

একজন ব্যবহারকারী এখন একটি ল্যাপটপ-ভিত্তিক সহকারীকে দূরবর্তী সার্ভারে আপলোড না করেই একশো পৃষ্ঠার আইনি দলিল বিশ্লেষণ করতে বলতে পারেন।

শিক্ষার্থী, ডেভেলপার, সাংবাদিক ও গবেষকরা সকলেই তাদের নিজস্ব ডিভাইসে দীর্ঘতর, আরও প্রসঙ্গ-সচেতন AI সেশন থেকে উপকৃত হতে পারেন।

রিলিজের পেছনের বৃহত্তর যুক্তি সম্পর্কে বলতে গিয়ে, Tether-এর CEO Paolo Ardoino গবেষণা ও ব্যবহারিক সফটওয়্যারের মধ্যে ব্যবধানের দিকে ইঙ্গিত করেন।

"Google-এর গবেষণা দেখিয়েছে যে AI মেমরি বেশিরভাগ মানুষের ধারণার চেয়ে অনেক বেশি দক্ষতার সাথে সংকুচিত করা যায়," তিনি বলেন। "আমাদের কাজ সেই অগ্রগতিকে প্রোডাকশন সফটওয়্যারে নিয়ে আসে যা ডেভেলপার, স্টার্টআপ ও ব্যবহারকারীরা আসলেই তৈরি করতে পারেন।"

প্রোডাকশন রিলিজে একটি সম্পূর্ণ কোয়ান্টাইজেশন পাইপলাইন, ফ্রেমওয়ার্ক অ্যাডাপ্টার, ডেভেলপার ডকুমেন্টেশন ও ওয়ার্কলোড-টিউনড প্রোফাইল অন্তর্ভুক্ত রয়েছে।

এই উপাদানগুলো হাইপারস্কেল ডেটা সেন্টারের বাইরের বাস্তব পরিবেশের জন্য ডিজাইন করা হয়েছে, যা সীমাবদ্ধ মেমরি, মিশ্র হার্ডওয়্যার ও লেটেন্সি-সংবেদনশীল ডিপ্লয়মেন্ট কভার করে।

QVAC SDK 0.12.0 স্থানীয় AI উন্নয়নের বিকল্পগুলো প্রসারিত করে

TurboQuant QVAC SDK 0.12.0-এর অংশ হিসেবে আসে, সরাসরি Fabric-এ একীভূত হয়, যা QVAC স্ট্যাকের একটি মূল উপাদান।

Fabric একটি llama.cpp ফর্ক হিসেবে শুরু হয়েছিল এবং তারপর থেকে একাধিক গবেষণা অগ্রগতি অন্তর্ভুক্ত করতে বেড়েছে। SDK ডেভেলপারদের স্থানীয় AI অ্যাপ্লিকেশন তৈরির জন্য টুল, লাইব্রেরি ও রানটাইম উপাদানের একটি একীভূত সেট দেয়।

স্টার্টআপ ও স্বাধীন ডেভেলপারদের জন্য, এটি সেই ধারণাটি দূর করে যে বড় AI পণ্যের জন্য ব্যয়বহুল GPU ক্লাস্টার প্রয়োজন।

টিমগুলো এখন দীর্ঘতর কনটেক্সট উইন্ডো, বড় ফাইল ওয়ার্কলোড ও ভোক্তা এবং এজ হার্ডওয়্যার জুড়ে নমনীয় ডিপ্লয়মেন্টের জন্য ডিজাইন করতে পারে। এটি শুধুমাত্র ক্লাউড আর্কিটেকচার ছাড়া AI পণ্য তৈরির ব্যবহারিক পথ খুলে দেয়।

ডেটা গোপনীয়তা ও ক্লাউড নির্ভরতা সম্পর্কিত উদ্বেগগুলো সমাধান করতে গিয়ে, Ardoino স্থানীয় ডিভাইসে AI কাজগুলো রাখার পক্ষে যুক্তি তুলে ধরেন।

"মানুষের উচিত একটি AI সহকারীকে একটি দীর্ঘ ডকুমেন্ট পড়তে বা ব্যক্তিগত তথ্যের মাধ্যমে কাজ করতে বলতে সক্ষম হওয়া, প্রতিটি কাজ জোর করে দূরবর্তী ডেটা সেন্টারের মাধ্যমে না করে," তিনি বলেন। TurboQuant, সেই অর্থে, স্থানীয় AI-কে আরও অপারেশনাল জায়গা দেয়।

Tether-এর কৌশল এমন AI-কে কেন্দ্র করে যা ব্যক্তিগত ডিভাইস ও বিকেন্দ্রীভূত নেটওয়ার্ক জুড়ে ব্যবহারকারীদের কাছাকাছি চলে। কোম্পানিটি বৃহৎ-মাপের কম্পিউট অবকাঠামোর পাশাপাশি AI উন্নয়নের পরবর্তী পর্যায়ে সফটওয়্যার দক্ষতা ও পোর্টেবিলিটিকে নির্ধারক কারণ হিসেবে দেখে।

The post Tether Brings Google's TurboQuant to Production, Unlocking Long-Context AI on Everyday Devices appeared first on Blockonomi.