انجام پایان نامه

درخواست همکاری انجام پایان نامه  بانک مقالات رایگان انجام پایان نامه

سفارش پایان نامه

|

انجام پایان نامه ارشد

 پایان نامه 

پایان نامه‏ کامپیوتر

انجام پایان نامه‏ ارشد کامپیوتر

روش جدید برای لب‌خوانی با استفاده از پردازش تصویر
وحیده نیکفرجام هفت‌آسیا
گروه کامپیوتر- دانشگاه آزاد اسلامی مشهد
این آدرس ایمیل توسط spambots حفاظت می شود. برای دیدن شما نیاز به جاوا اسکریپت دارید

چکیده :
بازشناسی تصویری گفتار به عنوان فرآیندی برای کمک به افرادی که دچار آسیب در سیستم صوتی شده‌اند، در سالهای اخیر مورد توجه محققین قرار گرفته‌ است. در این مقاله سعی در این بوده که سه روش برای استخراج ویژگی شکل لب ارائه شود : استخراج کانتور لب ، قطعه‌بندیWatershed  ، پارامترهای پویانمایی چهره . سپس برای شناسایی گفتار از روی حرکات لب از الگوریتم HMM و شبکه‌های عصبی پرسپترون دولایه با ساختاری ساده استفاده شده است.
واژه‌های کلیدی : بازشناسی تصویری گفتار ،استخراج کانتور لب ، قطعه‌بندی Watershed ، پویانمایی چهره ، ردیابی علائم .
1-   مقدمه :

             سامانه‌ی لب‌خوانی رایانه‌ای به معلولینی کمک می کند که دچار آسیب در سیستم صوتی بوده و قادر به برقراری ارتباط با دیگران نیستند. این افراد معمولا توانایی انجام صحیح  حرکات لب به شکلی که برای تکلم لازم است را داشته و در حالت ایده‌آل می‌توان با انجام لب‌خوانی به مقصود آنها پی برد. این نرم‌افزار به معلولینی که از صندلی چرخدار استفاده می‌کنند و فقط توانایی انجام صحیح حرکات لبشان را دارند کمک می‌کند؛ بدین ترتیب که با کمک دوربین فیلمبرداری حرکات لب آنها ثبت می‌شود و پس از آنالیز ، فرامین لازم به ویلچر داده می‌شود.
             از جمله کاربرد های این سامانه می‌توان به تشخیص فرامین ناتوانان گفتاری ،تشخیص برخی کلمات خاص، مکمل بازشناسی گفتار صوتی و همچنین کاربرد‌های نظامی و اطلاعاتی ذکر کرد .در کاربرد حفاظتی ، این سامانه می‌تواند با بهره‌گیری از حرکات لب و بدون ثبت سیگنال صوتی ،کلمات خاصی را شناسایی و تصویر گوینده‌ی آن را در مراکز عمومی و محل‌های تردد ثبت کند.
             فرآیند بازشناسی تصویری گفتار شامل دو مرحله‌ی استخراج ویژگی از دنباله تصاویر لب و طبقه‌بندی ویژگی‌های بدست آمده است. ویژگی گفتاری تصویر حرکات لب معلولین که دارای رنگ پوست و ظاهر متفاوتی هستند ، به کمک طراحی یک الگوریتم جدید استخراج شده و در مرحله‌ی بعد با استفاده از الگوریتم مدل مخفی مارکوف ، حرکات و گفتار تصویری تشخیص داده می‌شود . بهره‌گیری از اطلاعات تصویری از شکل‌های لب و حرکات آن ، دقت و اطمینان سیستم‌های تشخیص اتوماتیک گفتار صوتی را ـ خصوصا در محیط‌های نویزی ـ بطور قابل توجهی بهبود می بخشد .
             آزمایش این نرم‌فزار بر روی مجموعه‌ی دادگان جمع‌آوری شده ،شامل 20 نفر زن و مردِ 20 تا50 سال صورت گرفته و روی 6 واژه گفتاری 1،2،3،4،5،6 با 91درصد موفقیت ، بازشناسی گفتار انجام شده است . این پژوهش‌ها در مراحل تکمیلی می توانند با افزایش تعداد کلماتِ قابل شناسایی ، محدوده‌ی تشخیص را هر چه بیشتر افزایش دهند .
 
2- استخراج كانتورلب
به منظوراستخراج ويژگيهاي تصويري مربوط به توليد گفتار،استخراج دقيق شكل لب حياتي مي باشد.استفاده ازرويكردهاي مبتني برلبه براي استخراج لب داراي مشكلات فراواني مي باشد؛ زيرانگاشتهاي بدست آمده براساس ويژگي لبه معمولأ داراي نويزواشتباهات فراواني مي باشد. به علاوه لبه هااغلب درمرزلب مفقود بوده ياازنظردامنه خيلي ضعيف هستند.باتوجه به اين مشكلات، رويكرد استخراج كانتورلب مابه آشكارسازي لبه هادرلب استناد نكرده است، بلكه هدف ماتقسيم بندي تصاويرلب داده شده به ناحيه لب وغيرلب براساس شدت روشنايي ورنگ پيكسلهامي باشد.دراين روش،فرض نمي شود كه لب داراي يك رنگ خاص باشد بلكه جستجو بر اساس تفاوت شدت روشنايي ورنگ بين نواحي لب وغيرلب صورت مي گيرد.درادامه درابتدا مدل پيشنهادي باجزئيات شرح داده مي شود.سپس تابع هزينه براي پيداكردن بهينه مرزبين ناحيه لب وغيرلب ولگوريتم بهينه سازي پارامترهاي مدل توضيح داده مي شود.
3-2- مدل لب
ازمدلهاي انعطاف پذيرهندسي براي مدل كردن شكل لب استفاده شده است .مدل هندسي به شكل لب اجازه مي دهد كه بوسيله يك مجموعه كوچكي ازپارامترهاباتفسيرفيزيكي توصيف شود. مدل هندسي لب درشكل (1) نشان داده شده است وبامعادلات(1) و(2) توصيف مي شود:
(1) و (2)
 
تفسيرفيزيكي پارامترهادرشكل نشان داده شده است.پارامترs انحراف شكل لب رانشان مي دهد. پارمترs انحراف منحني ازحالت چهارگوش راتوصيف مي كند.s به توان دورسيده وبايك جمع شده تاهميشه مثبت باشد.همچنين پارامترs اجازه مي دهد كه مدل لب برروي تصاويرلب بادرجه متفاوت خميدگي منطبق شود.اگرچه لب گوينده وحركات لب به طوركلي متقارن نمي باشد اما انحراف ازحالت متقارن بودن معمولأ داراي اهميت نمي باشد.
 
شکل1-مدل لب هندسی

2-2- فرمول بندي تابع هزينه

براي بدست آوردن يك مدل دقيق،تابع هزينه براي تعيين پارامترهاي مدل به طريقه اي كه پيكسلهاي داراي ناحيه لب داراي احتمال پايين باشند،تعريف مي شود وفرض مي شود كه ناحيه لب وخارج لب هم پوشاني نداشته باشند.مرزاين ناحيه زماني بدست مي آيد كه اين تابع هزينه مينيمم شود.تابع هزينه بصورت (3) تعريف مي شود:
(3)    

كه ) B) 1R و) B)R 2 به ترتيب ناحيه لب وغيرلب مي باشند و Prob1 (m,n) احتمال اينكه پيكسل درمكان (m,n) ،پيكسل غيرلب باشد رامشخص مي كند. مرز بهينه B با مينيم سازي C(B)به طريقه‌اي كه R1(B) شامل پيكسلهايي با Prob1(m,n) بالا و R2(B) شامل پيكسلهايي با Prob2( m,n)  بالا باشد،مشخص مي شود.با لگاريتم گرفتن ازمعادله بالا وساده سازي رابطه (4) بدست مي آيد:
(4)               
كه
(5)   
ازآنجاكه درمعادلات(3)و(4)،m وn گسسته هستند بنابراين مرزB نيزگسسته بدست مي آيد. اما اين موضوع براي مامطلوب نيست زيرامايك مرزپيوسته نيازداريم.بنابراين براي حل اين مشكل معادله (4) رادرحوزه پيوسته بسط مي دهيم.درابتداm وn به x وy پيوسته بسط داده مي شود. اكنون مرزB پيوسته شده است ومي تواند هرشكل دلخواهي رافرض كند.سپس ،ما داريم:
(6)     
(m,n)f باانتگرال گيري از(x,y)g روي سطح واحد (m,n)مركزآن مي باشد)بدست مي آيد. سپس معادله (4) بصورت زيربسط داده مي شود:
(7)     
كه مرزB پيوسته مي باشد و بوسيله مدل لب مامشخص مي شود.سپس پارامترهاي بهينه مدل با مينيمم سازي تابع هزينه زير بدست مي آيد :
(8)         g(x,y)dydx
كه x2 (p)=xc+wcos  wcos + xc = (P)  x2 نقاط گوشه راست وچپ لب، P ، مجموعه پارامترهاي مدل مي باشند .(p,x) y1  و y2(p;x) دو نقطه مرز عمودي خطx هستند.
پس با داشتن نگاشت احتمال Prob(m,n) ، f(m,n) بوسيله معادله (5) بدست مي‌آيد. سپس سطح هزينه پيوسته g(x,y) درمعادله (8) بايد ايجاد شود.اگرچهارنقطه zjk , zj +1k, zj +1,k+1,zjk+1  راداشته باشيم. سطح درون يابي دوسويه شده  بطريقه زيربدست مي آيد:
            (9)      gjk (x,y) = (1+j-x) (1+k-y) zjk+(x-j)(1+k-y) zj+1k+(x-j)(y-k)zj+1k+1+(1+j-x)(y-k)zjk+1
بنابراين ايجاد سطح (x,y)g به مسئله تعيين } zm,n { تبديل مي شود.بااستفاده ازمعادله (6) و(9) وبعد ازتعدادي محاسبات جبري ، مي توان نشان داد كه f(m,n) و zm,n بوسيله معادله كانولوشن گسسته زير هم باهم ارتباط دارند :
(10)        
كه ماسك كانولوشن(m,n)h، باماتريس زيربيان مي شود:
(11)
درحوزه فركانس معادله (10) بصورت زيرمي باشد :
(12)
بنابراين } m,n‍{ بامعكوس تبديل فوريه بدست مي آيد :
(13)   Z(w1,w2) = f(w1,w2) /H (w1,w2)
2-3- نگاشت احتمال تصاويرلب
ارزيابي (P)E نيازبه نگاشت احتمال تصاويرلب دارد كه اين نگاشت ،احتمال اين رامشخص مي كند كه پيكسل،پيكسل لب هست يانه؟ الگوريتم خوشه بندي فازي]11[ براي ايجاد چنين نگاشت احتمالي استفاده مي شود .اين يك روش يادگيري بدون سرپرستي مي باشد ونه فرض اوليه اي درمورد توضيع ويژگيهادرنظرمي گيرد ونه آموزش مورد نيازمي باشد.الگوريتم تلاش مي كند براي هرپيكسل براساس توزيع بردارهاي ويژگي هرپيكسل درفضاي ويژگي واثرمتقابل هرپيكسل با8 تاازهمسايگي اش، يك مقداراحتمال مناسب براي هرپيكسل مشخص كند.
استفاده تنهاازشدت روشنايي درتصاويرلب،كنتراست كافي براي تفاوت قائل شدن يك پيكسل لب وغيرلب راندارد.بنابراين ازشدت روشنايي ورنگ به عنوان ورودي براي الگوريتمهاي خوشه بندي استفاده مي شود.ابتداتصاويردرفضاي رنگ غيريكنواخت RGB تبديل به فضاي رنگ يكنواخت CIELAB مي شود[12] . اين فضاي رنگي يك دياگرام رنگي يكنواختي دارد بنابراين هردورنگ يك تفاوت ادراكي دارد ودراين فضاي رنگ ، اطلاعات روشنايي از اطلاعات رنگ جدامي باشند.
درشكل (2- الف) تصويراوليه ازلب نشان داده شده است همانطوركه مشاهده مي شود كنتراست بين ناحيه لب وغيرلبب بسيارپايين مي باشد.خوشه بندي بااستفاده ازويژگيهاي رنگ (L*.a*,b*) ماراقادرمي سازد كه يك نگاشت احتمال قابل قبولي بدست آوريم.درشكل (2- ب)
نگاشت احتمال نشان داده شده است .
 

2 -4 – بهينه سازي پارامترهاي مدل
براي مينيمم سازي تابع هزينه ازروتين بهينه سازي كاهش گراديان استفاده مي شود.درنتيجه ازمعادله (8) نسبت به هرپارامترمشتق گرفته مي شود.مي توان نشان داد كه مشتق گيري بوسيله معادله زيرصورت مي گيرد :
(14)  
كه p1=xc,p2=yc,p3=w,… , p8=s,p9=0 مي باشد.به اين نكته توجه شود كه انتگرال گيري ازمعادله(14) درامتداد منحنيهاي لب y1 و y2 انجام مي شود.
3- قطعه بندي Watershed
اين قطعه بندي براساس مفاهيمي همچون بهبود تباين وتبديل Wastershed مي باشد.
مراحل الگوريتم عبارتند از:
1. خواندن تصوير
2. حداكثرتباين
براي اينكه لبه هايي كه توسط تبديل Watershed استفاده مي شود كمينه گردد; مي بايست تباين بين اشياء مورد نظرماكزيمم گردد،روش معمول براي بهبود تباين استفاده ازتبديلات bottom hot و top hat برروي تصويرمي باشد.
تبديل top hot به عنوان تفاوت بين تصويراصلي وتصويري كه بوسيله فيلترهاي ايجاد شده باز گرديده است،تعريف مي گردد.
تبديل bottom hat به عنوان تفاوت بين تصويراصلي وتصويري كه بوسيل ه فيلترهاي ايجاد شده بسته گرديده است،تعريف مي گردد.
3. تفريق تصاويرايجاد شده توسط مرحله دوم الگوريتم مي باشد.
تصوير top hat شامل نقاط نوك تيزاشياء است وتصويرbottom hat فاصله هاي بين اشياء مورد نظررانشان مي دهد.
براي حداكثركردن تباين بين اشياء وفاصله هايي كه بين آنها وجود دارد مي بايستي طبق فرمول(15) عمل كرد.
Ienhance = imsubtract(imadd(Itop,afm),Ibot)                    (15)                         )
4. تبديل اشياء مورد نظر
براي اينكه دريك تصويرشدت لبه هاآشكارگردد،مي بايست ازمتمم تصويراستفاده شود تابتوان اشياء مورد نظررادرمراحل بعد بهترتفكيك كرد.
5 . آشكارسازي شدت لبه
همه شدت لبه هابايك آستانه خاص باتابع imextendedmin آشكارمي شود وسپس باتابع imimposemin مكانهايي ازتصويراصلي كه بهبود يافته وبه عنوان شدت لبه آشكارشده است تغييرداده مي شود.
6 . قطعه بندي Watershed
Morphology قطعه بندي
اين قطعه بندي براساس مفاهيمي همچون آشكارسازي لبه، اشياء ساخت يافته ، Erosion، قطعه بندي مي باشد .مراحل الگوريتم عبارتند از:
1: خواندن تصوير
2. آشكاركردن شي ء بطوركامل
آشكاركردن شي ء بطوركامل براساس يكي ازالگوريتم هاي آشكاركننده لبه صورت مي گيرد. لازم به ذكراست كه اين الگوريتم برروي تصاويري كه نويزندارند بكارمي روند.
3 . آشكارسازي اشياء بااستفاده ازلبه هايي كه توسط مرحله دوم الگوريتم بدست آمده است، صورت مي گيرد.
4 . پهن كردن لبه هادرتصوير
5 . پركردن اشياء بدست آمده،
6 . پاك نمودن اشيائي كه درحاشي ه  تصويرقراردارند.
دراين مقاله ازتمامي مراحل قطعه بندي Wastershed به غيرازمرحله آخرآن استفاده شده است وهمچنين ازمراحل 5 و6 ،قطعه بندي Morphology استفاده گرديد ودرنهايت ازيك سري فيلتر هاي خاص استفاده شد.
     بامشاهده ،نتايج بدست آمده ملاحظه گرديد،مرزهاي لب بسيارتيزشده وباشكل اصلي تفاوت زيادي دارد براي اينكه قطعه بندي انجام شده براي تشخيص لب دقيق ترگردد ازفيلترهاي خاص ازپيش تعريف شده Matlab بانام هاي motion وdisk به اندازه هاي متناسب بااندازه تصوير  استفاده گرديد كه اثراين فيلترهارادرشكل 3 زيرمشاهده مي شود.








انجام پایان نامه

انجام پایان نامه کامپیوتر، انجام پایان نامه ارشد کامپیوتر، انجام پایان نامه، پایان نامه

برای دیدن ادامه مطلب از لینک زیر استفاده نمایید

  دانلود مقاله | انجام پایان نامه

سفارش پایان نامه

نقشه