Every Size Local AI In 24 Minutes
By Tina Huang · more summaries from this channel
This is an AI-generated summary of “Every Size Local AI In 24 Minutes” — a 24 min YouTube video by Tina Huang, published September 28, 2026. It condenses the full transcript into 10 key takeaways with clickable timestamps.
Summary
এই ভিডিওটি বিভিন্ন ধরণের হার্ডওয়্যার ব্যবহার করে স্থানীয়ভাবে এআই মডেল চালানোর পদ্ধতি এবং ক্ষমতা ব্যাখ্যা করে, যা ছোট এমবেডেড ডিভাইস থেকে শুরু করে শক্তিশালী জিপিইউ পর্যন্ত বিস্তৃত।
Key Points
- ESP32 S3 এর মতো ছোট চিপগুলিতে Tiny Stories মডেলের মতো ছোট এআই মডেল চালানো সম্ভব, যা প্রায় ২০ ডলারের মতো সস্তা হতে পারে।
- Raspberry Pi 5 এবং iPhone 16 এর মতো মিনি কম্পিউটারগুলি অপারেটিং সিস্টেম চালায় এবং স্পিচ-টু-টেক্সট, লার্জ ল্যাঙ্গুয়েজ মডেল এবং টেক্সট-টু-স্পিচ মডেলের মতো একাধিক এআই মডেল চালাতে পারে।
- আইফোনে অ্যাপল দ্বারা আরোপিত র্যাম সীমাবদ্ধতার কারণে রাস্পবেরি পাইয়ের তুলনায় কিছু মডেল চালাতে অসুবিধা হতে পারে, যদিও উভয়েরই ৮ জিবি র্যাম থাকে।
- পার্সোনাল কম্পিউটার, যেমন ৩২ জিবি র্যামের ম্যাকবুক প্রো, বড় ল্যাঙ্গুয়েজ মডেল, কোডিং মডেল, ইমেজ জেনারেশন, ভিডিও জেনারেশন এবং অডিও জেনারেশন সহ প্রায় যেকোনো ক্যাটাগরির এআই মডেল স্থানীয়ভাবে চালাতে সক্ষম।
- হোম সার্ভারগুলি, যেমন ম্যাক স্টুডিও এবং এএমডি রাইজেন হ্যালো, সর্বদা চালু থাকে এবং ডেডিকেটেড মেশিন হিসাবে কাজ করে, যা বড় মডেলগুলি ২৪/৭ চালানোর সুবিধা দেয়।
- ম্যাক স্টুডিওতে ৬৪ জিবি র্যাম থাকে এবং এটি ২৭-৩২ বিলিয়ন প্যারামিটারের মডেল চালাতে পারে, যেখানে এএমডি রাইজেন হ্যালো ১২৮ জিবি র্যাম সহ ৭০ বিলিয়ন প্যারামিটারের মডেল চালাতে পারে।
- ভিডিওটি হার্ডওয়্যারকে বিভিন্ন শ্রেণীতে ভাগ করে, যেমন চিপস (Arduino Uno R4, ESP32 S3), মিনি কম্পিউটার (Raspberry Pi 5, iPhone 16), পার্সোনাল কম্পিউটার (MacBook Pro), হোম সার্ভার (Mac Studio, AMD Ryzen Halo) এবং জিপিইউ (GPU)।
- জিপিইউ (GPU) বিশেষ করে সঙ্গীত, ছবি এবং ভিডিও তৈরির মতো মাল্টিমোডাল জেনারেশনের জন্য অত্যন্ত গুরুত্বপূর্ণ, কারণ এগুলোর জন্য প্রচুর প্রসেসিং পাওয়ার প্রয়োজন।
- RTX 4090 এর মতো ডিসক্রিট জিপিইউ (discrete GPU) উচ্চ ব্যান্ডউইথ প্রদান করে, যা দ্রুত মাল্টিমোডাল জেনারেশন সক্ষম করে, যদিও এর মেমরি ক্ষমতা সীমিত হতে পারে।
- ৮টি H100 জিপিইউ (GPU) সমন্বিত সিস্টেমগুলি ৬৪০ জিবি র্যাম এবং বিশাল ব্যান্ডউইথ সহ ৭০০ বিলিয়নের বেশি প্যারামিটারের অতি-বৃহৎ মডেল এবং ৪৮০ বিলিয়নের বেশি প্যারামিটারের কোডিং মডেল চালাতে পারে, যা ক্লাউড-ভিত্তিক সমাধানের সাথে তুলনীয়।
Summarize any YouTube video, free
You just read an AI summary of this video. Paste any other YouTube link and get the key points with clickable timestamps in seconds — no signup, 5 free a day.
More Resources
More Summaries
41sMax Kindest Moment 😨😱
ভিডিওটি একটি অপ্রত্যাশিত বিমানবন্দর পরিস্থিতি এবং মা ও সন্তানের মধ্যে একটি কথোপকথন তুলে ধরে, যেখানে একজন ব্যক্তি অন্যকে তার মায়ের সাথে সময় উপভোগ করার পরামর্শ দেয় এবং জ্যাকসন ম্যাক্সকে ধন্যবাদ জানায
16 minএই সাজেশন ফলো করলে টেস্টে নিশ্চিত A+! || SSC-27 || English 1st Paper
এই ভিডিওটি শিক্ষার্থীদের আসন্ন টেস্ট পরীক্ষার জন্য ইংরেজি প্রথম পত্রের একটি বিস্তারিত সাজেশন প্রদান করে, যেখানে সিন প্যাসেজ, আনসিন প্যাসেজ, রিঅ্যারেঞ্জ, পোয়েম, স্টোরি, কমপ্লিটিং স্টোরি এবং ডায়লগের জন্
14 minRank Up FASTER as a Solo By Doing THIS in Apex Legends
এই ভিডিওতে একজন খেলোয়াড় ব্যাঙ্গালোর লিজেন্ড ব্যবহার করে র্যাঙ্কড ম্যাচে একা খেলার কৌশল, যেমন সঠিক অবস্থান, সিদ্ধান্ত গ্রহণ এবং দক্ষতার ব্যবহার, বিশ্লেষণ করে দেখিয়েছেন।
30 minOpenAI Co-Founder: Start Building With AI Before You Feel Ready | Greg Brockman
ওপেনএআই-এর সহ-প্রতিষ্ঠাতা গ্রেগ ব্রকম্যান এআই-এর মাধ্যমে উদ্যোক্তা হওয়ার এক বিশাল নবজাগরণের পূর্বাভাস দিয়েছেন, যেখানে এআই ব্যক্তিগত সহকারী হিসেবে কাজ করে উৎপাদনশীলতা বাড়াবে এবং ছোট ব্যবসা থেকে শুরু কর
10 minI Read 87 Essays This Month, Here's What Killed 70 of Them
এই ভিডিওতে কলেজ আবেদনপত্রের প্রবন্ধে একটি সাধারণ ভুল, যাকে "বুক রিপোর্ট এন্ডিং" বলা হয়, তা বিশ্লেষণ করা হয়েছে, যেখানে শিক্ষার্থীরা তাদের গল্পের অর্থ ব্যাখ্যা করে, এবং এর সমাধান ও বিকল্প পদ্ধতি নিয়ে আল