SRI-B، همراه با Visual SW R&D Group در MX Business، بر توسعه AI Image Restoration برای گرفتن عکس و پیش نمایش برای جبران پراش نوری در UDC تمرکز کردند. در همان زمان، آزمایشگاه نوآوری پردازنده موبایل (MPI) SRA الگوریتم عکاسی محاسباتی چند فریمی را بهبود بخشید. UDC Galaxy Z Fold4 چالش‌های فنی کلیدی در کیفیت تصویر را حل می‌کند تا تجربه‌ای منحصر به فرد را برای مشتریان نهایی به ارمغان بیاورد.
س: لطفاً نقش شغلی خود و کمک های تیم خود را به UDC توضیح دهید. چگونه به ایجاد بهترین تجربه کاربری ممکن کمک کردید؟
همانطور که قبلاً ذکر شد، هنگامی که دوربین زیر نمایشگر قرار می گیرد، این می تواند منجر به کیفیت پایین تصویر ناشی از آرتیفکت های پراش شود که باعث شعله ور شدن، اشباع، تاری و مه می شود.
س: چرا UDC یک فناوری مهم در مورد Galaxy Z Fold4 است؟ چه ارزشی برای مشتریان فراهم می کند؟
دوربین های سلفی بخش مهمی از هر گوشی هوشمند هستند – اما پیدا کردن مکان مناسب برای دوربین جلو اغلب می تواند مانعی برای تجربه تماشای یکپارچه باشد. با این حال، به لطف دوربین زیر نمایشگر (UDC)، کاربران می توانند با نقطه سیاه کوچک جلوی صفحه نمایش خود خداحافظی کنند. Samsung Electronics UDC را در گلکسی Z Fold4 که به تازگی منتشر شده است، ارتقاء جدی داده است و تجربه ای فراگیرتر و بدون وقفه در تمام صفحه را به کاربران ارائه می دهد.
س: چشم انداز شما برای تکرارهای UDC آینده در سامسونگ چیست؟
سئوک جون: گوشی‌های تاشو سامسونگ به‌گونه‌ای طراحی شده‌اند که جدید و متفاوت باشند و از طریق فناوری صفحه‌نمایش پیشرفت‌کننده، تجربه‌های تماشای گوشی‌های هوشمند و همه‌جانبه را در یک دستگاه تلفن همراه ترکیب کنند. در صورت تا شدن، استفاده ای شبیه به گوشی هوشمند را فراهم می کند، و هنگامی که باز می شود، نمایشگر تجربه ای فراگیرتر و سازنده تر را ارائه می دهد. تحقیقات مصرف‌کننده ما نشان داد که کاربران سری Galaxy Z Fold دوربین روی صفحه‌نمایش را برای گرفتن عکس‌ها و سلفی‌ها و نمایشگر اصلی همه‌جانبه را برای کارهای سازنده‌تر مانند تماشای ویدیو، بازی و کار بر روی اسناد ترجیح می‌دهند. بنابراین، ما فکر کردیم که فناوری UDC برای رفع نیازهای آنها برای صفحه نمایش بدون وقفه مناسب است، در حالی که هنوز قادر به انجام کارهایی مانند باز کردن تماس های ویدیویی است. سامسونگ اولین راه حل UDC تاشو را در Galaxy Z Fold3 راه اندازی کرده و کیفیت آن را در Galaxy Z Fold4 افزایش داده است.
الوک: UDC سامسونگ گلکسی Z Fold4 ابعاد جدیدی را در فرم فاکتور دوربین گوشی های هوشمند باز کرده است. UDC ها در آینده امکان قرار دادن سنسورهای دوربین بزرگتر و دوربین های متعدد را در موقعیت های انعطاف پذیر بدون به خطر انداختن تجربه مشاهده را فراهم می کنند. چالش بزرگ دیگر، پذیرش انبوه فناوری UDC در محصولات بیشتر به عنوان دوربین اصلی جلو است. برای اینکه این اتفاق بیفتد، باید بهبود قابل توجهی در کیفیت تصویر دوربین، زمان پردازش و تجربه نمایش داده شود.
س: کیفیت تصویر دوربین از زمان Galaxy Z Fold3 چگونه بهبود یافته است؟
SRI-B همچنین نقش کلیدی در استفاده از واحد پردازش عصبی (NPU) برای اجرای مدل AI، دستیابی به عملکرد بلادرنگ در پیش‌نمایش‌ها و زمان پردازش عکسبرداری بسیار سریع‌تر نسبت به Samsung Galaxy Z Fold3 UDC داشت. پیش‌نمایش دوربین، ضبط‌های ویدیویی و سناریوهای تماس ویدیویی نیاز به عملکرد بی‌درنگ و بدون از دست دادن فریم دارند. بازیابی UDC مبتنی بر هوش مصنوعی با NPU برای پردازش پیش‌نمایش برای اولین بار در Samsung Galaxy Z Fold4 استفاده شد. اگرچه نیازی به پردازش بلادرنگ نبود، زیرا ضبط دوربین به کیفیت تصویر بالاتری نسبت به پیش نمایش نیاز دارد، دستیابی به کیفیت تصویر بهتر با زمان پردازش کمتر برای تجربه کاربر مطلوب بود.
الوک: سامسونگ گلکسی زد فولد 3 اولین UDC جهان را روی گوشی تاشو به نمایش گذاشت. پس از عرضه گلکسی Z Fold3 در بازار، یکی از بازخوردهای کلیدی مصرف کنندگان این بود که UDC کمتر دیده شود. در Galaxy Z Fold4، چیدمان زیر پیکسل ها برای پنهان کردن بیشتر UDC بهینه شده است.
سئوک جون: عبور نور کم و پراش نور چالش های اصلی فناوری دوربین UDC هستند. با این حال، یک چالش دیگر، که با خط لوله تصویر دوربین سوراخ پانچ متفاوت است، این است که کیفیت عکسبرداری UDC نه تنها تحت تأثیر ماژول دوربین، بلکه پانل نمایشگر نیز قرار می گیرد. الگوریتم ISP سه بعدی مبتنی بر هوش مصنوعی SRA MPI با انعطاف‌پذیری لازم برای تنظیم کیفیت تصویر خروجی با ویژگی‌های مختلف نمایش طراحی شده است. وجود چنین انعطاف پذیری در ISP سه بعدی به غلبه بر چنین چالش هایی کمک کرد.
به همین دلیل است که در Galaxy Z Fold4، ما از قدرت هوش مصنوعی با پشتیبانی از پردازش چند فریمی برای توسعه خط لوله تصویربرداری محاسباتی جدید برای بازیابی تصویر UDC استفاده کرده‌ایم.
الوک: Samsung Galaxy Z Fold4 UDC یک پروژه تحقیق و توسعه پیچیده بود و نقش SRI-B این بود که به صورت انتها به انتها برای بهترین تجربه مصرف کننده فکر کند. این نیاز به تخصص چند دامنه ای و همکاری عمیق بین تیم های متعدد داشت. کارشناسان SRI-B، SRA-MPI Lab و MX Visual SW R&D Group به طور یکپارچه برای تحقق یک تجربه UDC یکپارچه کار کردند.
س: UDC چگونه کار می کند؟
سئوک جون: آزمایشگاه SRA MPI در تمام طول تاریخ MPI در سامسونگ با SRI-B کار کرده است، از تجاری سازی دوربین Galaxy Note4 در سال 2014 تا Galaxy Z Fold4 و Z Flip4 در سال 2022. SRA MPI پیشرو در تحقیق و توسعه فناوری پردازش چند فریم MX (MFP) برای UDC، حالت شب، Expert RAW و سایر فناوری‌ها بوده است. SRI-B با ارائه نرم‌افزار دوربین شگفت‌انگیز، تنظیم کیفیت تصویر و منابعی برای تجاری‌سازی و همچنین تحقیق و توسعه دوربین هوش مصنوعی، به همه MFPهای تجاری‌سازی شده SRA MPI کمک کرده است. همکاری سه جانبه ما با گروه تحقیق و توسعه MX، SRA MPI و SRI-B موفقیت آمیز بوده است. – به خصوص زمانی که تیم جهانی از تفاوت های منطقه زمانی به طور موثر برای تکمیل نقاط عطف به موقع برای چنین پروژه پیچیده ای استفاده کرد. کار کردن با آنها و ارائه موفقیت‌های دوربین دستگاه‌های گلکسی با هم برای دستیابی به هدف مشترکمان که بهترین تجربه دوربین گوشی‌های هوشمند در جهان است، همیشه لذت بخش است.
سئوک جون: دوربین زیر نمایشگر (UDC) یک راه حل ابتکاری دوربین است که با پنهان کردن دوربین در زیر نمایشگر و اختصاص دادن کل صفحه به کاربران در حین اجرای برنامه ها، تجربه تماشای بی وقفه را در دستگاه تلفن همراه ممکن می کند. این نه تنها به نوآوری سخت افزاری با قرار دادن دوربین در زیر صفحه نمایش نیاز دارد، بلکه به نوآوری الگوریتم برای بازگرداندن کیفیت تصویر نیز نیاز دارد. – یکی از پیچیده ترین مشکلات بازیابی تصویر.
الوک: در UDC، یک دوربین جلو در زیر نمایشگر قرار می گیرد. تراکم پیکسلی صفحه نمایش در این قسمت کاهش می یابد و به صفحه اجازه می دهد تا تصاویر را بدون مانع نمایش دهد – اما در عین حال از رسیدن نور به دوربین در هنگام استفاده جلوگیری نکنید. از آنجایی که دوربین در زیر نمایشگر قرار می گیرد، UDC می تواند از کیفیت تصویر ضعیف ناشی از آرتیفکت های پراش رنج ببرد که منجر به شعله ور شدن، اشباع، تاری و مه می شود. بنابراین، در حالی که UDC تجربه نمایش بهتری را به ارمغان می آورد، بر کیفیت تصویر دوربین و سایر وظایف بینایی پایین دست نیز تأثیر می گذارد. این اعوجاج های پیچیده و متنوع، بازیابی تصاویر UDC را بسیار چالش برانگیز می کند.
س: در هنگام توسعه این فناوری با چه چالش هایی مواجه شدید و چگونه بر آنها غلبه کردید؟
س: ما را در مسیر پروژه مشارکت SRA-SRI همراهی کنید. چرا دو تیم شما با هم همکاری کردند؟
1 Samsung Research که به عنوان مرکز تحقیق و توسعه پیشرفته سامسونگ الکترونیک عمل می کند، توسعه فناوری های آینده را برای بخش Device eXperience (DX) این شرکت هدایت می کند.
[ad_2]
منبع
الوک: Galaxy Z Fold4 واقعاً دنیایی از صفحه نمایش همه جانبه را باز می کند. فناوری UDC هسته اصلی پیگیری یک نمایشگر تمام صفحه واقعی است. Galaxy Z Fold4 با ترکیب نوآوری های پیشرو در فناوری صفحه نمایش با تکنیک های پیشرفته هوش مصنوعی برای بازیابی تصویر، تعادل کاملی بین کیفیت صفحه نمایش و کیفیت تصویر دوربین فراهم می کند.
سئوک جون: از آنجایی که Galaxy Z Fold4 UDC تجربه بسیار بهتری را از نظر پنهان کردن دوربین در زیر نمایشگر و بهبود کیفیت تصویر ارائه می‌کند، جهت تحقیق و توسعه برای دستگاه‌های پرچمدار آینده در جهت نامرئی کردن UDC کاملاً نامرئی عمل می‌کند. این بهترین تجربه صفحه نمایش همه جانبه موبایل بدون وقفه را ارائه می کند و در عین حال کیفیت تصویر مشابه دوربین پانچ سوراخ را به دست می آورد.
س: دوربین زیر نمایشگر (UDC) چیست؟
مانند بسیاری از نوآوری های بزرگ، آخرین UDC یک تلاش گروهی بود – توسط کارشناسان سامسونگ و بازخورد ارزشمند مصرف کنندگان هدایت می شود. برای کسب اطلاعات بیشتر در مورد UDC بهبود یافته برای Galaxy Z Fold4، اتاق خبر سامسونگ با کارشناسان Samsung Research صحبت کرد.1 که در زمینه فناوری همکاری کردند.
الوک: تمرکز اصلی SRI-B توسعه یک ماژول بازیابی تصویر هوش مصنوعی برای Samsung Galaxy Z Fold4 UDC بود. این ترمیم‌ها برای حالت گرفتن عکس و همچنین حالت فیلم مورد نیاز هستند. سناریوهای ضبط ویدیو و تماس ویدیویی دارای الزامات سختگیرانه برای پردازش بلادرنگ در محدوده محدودیت مصرف فعلی هستند.
در ادامه بخوانید تا ببینید که جان سوک-جون لی، رئیس بخش دوربین محاسباتی در Samsung Research America (SRA)، و آلوک شوکلا، رئیس بخش راه حل های AI Vision در موسسه تحقیق و توسعه سامسونگ در هند-بنگالور (SRI-B) چه گفته اند. در مورد همکاری آنها در پشت آوردن فناوری پیشرفته UDC.
