جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگیهای بصری تصویر

مجله فناوری اطلاعات در طراحی مهندسی

مقاله 7، دوره 5، پاییز و زمستان - شماره پیاپی 52، بهمن 1393، صفحه 110-124   

نوع مقاله: مقاله پژوهشی

چکیده

چکیده: با محبوبیت وب سایتهای به اشتراک گذاری تصاویر مانند فلیکر، پیکاسا و زومر، تکنولوژیهای بازیابی مؤثر برای حجم زیاد تصاویر موجود مورد نیاز است. در بازیابی مبتنی بر برچسب، بیشتر از روشهای موجود با ویژگیهای برچسب یا ویژگیهای بصری به منظور تخمین میزان ارتباط برچسب با تصاویر استفاده میکنند و اطلاعات کاربران را مد نظر قرار نمیدهند. در این مقاله روشی ارائه میدهیم که بر اساس اطلاعات استخراج شده از ارتباط سهتایی میان کاربران، تصاویر و برچسبهای موجود در فوکسونومی و ویژگیهای بصری استخراج شده از تصاویر، شباهت میان تصاویر و برچسبها را به دست آورده، و از شباهت استخراج شده برای بازیابی مبتنی بر برچسب استفاده میکنیم. ما برای بدست آوردن شباهت میان تصاویر بر اساس ویژگیهای بصری از روش محاسبه شباهت کسینوسی ویژگیهای محلی تصاویر استفاده میکنیم. برای ارزیابی کار خود از دیتاست WIDE-NUS استفاده کردیم. به دلیل اینکه این دیتاست اطلاعات کاربران را شامل نمیشود، از API ارائه شده فلیکر به منظور دریافت اطلاعات اختصاص برچسبها و کاربران موجود در فوکسونومی استفاده کردیم. ارزیابی انجام شده، بهبود نتایج روش پیشنهادی مبتنی بر ترکیب ویژگیهای بصری و فوکسونومی در بازیابی مبتنی بر برچسب را نسبت به روشهایی که به تنهایی از ویژگیهای بصری یا از فوکسونومی بهره میبرند، نشان میدهد.

کلیدواژه‌ها

جستجوی مبتنی بر برچسب؛ ویژگیهای بصری؛ فوکسونومی

اصل مقاله

۱ -مقدمه با توسعۀ سریع تکنولوژی دوربینهای دیجیتال و اینترنت، حجم دادههای تصویری زندگی روزانۀ ما به میزان زیادی افزایش یافته است [1 . [در نتیجه، کاربران در میان حجم عظیم تصاویر موجود قرار گرفتند و با مشکل یافتن تصاویر متناسب با نیازشان مواجه شدند [2 .[ بنابراین تکنولوژیهای جستجوی مؤثر برای شبکههای چند رسانهای اجتماعی مانند فلیکر و یوتیوب اهمیت زیادی پیدا کرده است [3 .[با توسعه وبسایتهای اجتماعی، برچسبگذاری اجتماعی بسیار محبوب شده است. با محبوبیت سرویسهای برچسب گذاری اجتماعی که فوکسونومی [4 [شناخته میشود، تعدادی از محققین به جستجوی اجتماعی مبتنی بر برچسب روی آوردهاند تا به صورت کامل از پتانسیل سرویسهای برچسبگذاری بهره ببرند. به هرحال در محیط چندرسانهای تصاویر با اطلاعات مختلفی همراه هستند (مانند محتوای بصری، برچسبها و اطلاعات ارتباطات کاربران) که عمل جستجو را با چالش بیشتر مواجه میکند. اینکه چگونه از ترکیب اطلاعات به نحو مطلوب استفاده شود، به عنوان یک چالش مطرح است [5 .[بیشتر روشهای موجود، از اطلاعات برچسبها و ویژگیهای بصری استفاده میکنند [8-6 .[همچنین بیشتر روشهای موجود از ویژگیهای بصری و برچسبها به صورت جداگانه یا پشت سرهم بهره میبرند. تعدادی از مقالات نیز از اطلاعات سه تایی استخراج شده در فوکسونومی به منظور بهبود برچسب بهره میبرند. در این مقاله سیستمی را پیشنهاد میدهیم که با یک معماری سه لایه و با استفاده همزمان از اطلاعات ارتباط سه تایی میان کاربران، تصاویر و برچسبها و همچنین ویژگیهای بصری استخراج شده از تصاویر، شباهت برچسب - تصویر استخراج شده و به منظور بازیابی مبتنی بر برچسب استفاده می شود. ادامه مطالب مقاله بدین صورت سازماندهی شده است در بخش دوم کارهای مرتبط معرفی میشود. در بخش سوم روش پیشنهادی به تفصیل شرح داده میشود. بخش چهارم اختصاص به پیادهسازی و نتایج حاصل از روش ارائه شده دارد و در بخش پنجم نیز نتیجه گیری مقاله و کارهای آینده ارائه میگردد. 2 -کارهای مرتبط در این بخش ما بهصورت مختصر کارهای مرتبط با جستجوی تصاویر مبتنی بر برچسب را ارائه می دهیم. روش بازیابی مبتنی بر برچسب تصاویری را که با کلمات کلیدی کاربر منطبق است بر اساس حاشیه نویسیهای اعمال شده به تصاویر برمیگرداند. این روش روی معانی پرسوجو تمرکز میکند [9 .[ تحقیقات زیادی دربارة جستجوی تصاویر مبتنی بر برچسب در سالهای اخیر انجام شده است. چندین روش برای بهبود برچسب [12-10[ یا یادگیری برچسبهای مرتبط [14و13 [ارائه شده است.به هرحال بیشتر روشهای موجود از اطلاعات برچسب و ویژگیهای بصری به صورت های بصری تصویر جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگی 111 جداگانه یا به صورت پشت سرهم استفاده میکنند. ) روشهای مستقل در بازیابی مبتنی 1 شکل ( بر تگ را ارائه میدهد. در روشهای مستقل از هم تنها محتویات متن یا محتویات بصری برای تحلیل یک روش رتبه [ 9 برچسب استفاده میشود. مقاله [ دهی مبتنی بر ارتباط را برای جستجوی اجتماعی تصاویر ارائه میدهد که تنها ویژگیهای بصری به منظور محاسبه میزان ارتباط استفاده میشود. یک روش پیشنهاد برچسب در هنگام [15 مقاله [ بارگذاری تصویر توسط کاربر را ارائه میدهد که تصویر از برای محاسبه شباهت برچسب- ویژگیهای بصری کمک گرفته است. [3 ): روشهای مستقل از هم [ 1 شکل ( ) روشهای ترتیبی در بازیابی مبتنی 2 شکل ( بر تگ را ارائه میدهد. در روشهای ترتیبی محتوای بصری و برچسبها به صورت ترتیبی برای جستجوی تصاویر مورد استفاده قرار میگیرند. بیشتر روشهای موجود در ابتدا تحلیل مبتنی بر برچسب را انجام داده و سپس از محتوای بصری در مرحلهی دوم جستجوی یک روش [16 تصویر کمک گرفته میشود. مقاله [ رتبهدهی مبتنی بر امتیاز را ارائه میدهد که در ابتدا از اطلاعات برچسبها برای ایجاد امتیازات اولیه استفاده کرده و سپس از ویژگیهای بصری تصاویر به منظور بهبود امتیازات بهره میبرد. [3 ): روشهای ترتیبی [ 2 شکل ( تنها محتویات در روشهای مستقل از هم، بصری یا برچسبها برای جستجوی تصاویر مورد استفاده قرار میگیرند و در نتیجه اطلاعات مناسب و مفیدی از دست میروند. در روش ترتیبی ارتباط میان محتویات بصری و برچسبها بنابراین روشهای مستقل از هم یا جدا هستند. ترتیبی از دو منبع مختلف اطلاعات استفاده میکنند که در نتیجه نتایج جستجوی تصویر اجتماعی کمتر از حد مطلوب خواهد بود. ) روشهای ترکیبی در بازیابی مبتنی 3 شکل ( بر تگ را ارائه میدهد. روشهای ترکیبی از هر دوی ویژگیهای بصری و برچسبها به صورت یک روش مبتنی [ 2 همزمان استفاده میکنند. مقاله [ بر گراف را ارائه میدهد که به صورت همزمان از اطلاعات بصری و برچسبها برای یادگیری میزان ی ـ مهندس در طراحـی ات ـ اوری اطلاع ـ ه فن ـ مجل 112 ارتباط تصویر استفاده میکنند و سپس از این ترکیب برای جستجوی اجتماعی مبتنی بر برچسب کمک میگیرد. اما این مقاله اطلاعات اجتماعی کاربران را استفاده نمیکند. مقاله [17 [از یک معماری سه لایه برای بازیابی و برچسب گذاری ویدئوها استفاده کرده است. در بازیابی و برچسب گذاری، تنها اطلاعات بصری و برچسبها مدنظر قرار گرفته است و اطلاعات کاربران مورد استفاده قرار نگرفته است. شکل (3 :(روش ترکیبی [3 [ علاوه بر استفاده از اطلاعات برچسبها و ویژگیهای بصری، تعدادی از مطالعات بر روی ارتباط سه تایی استخراج شده از فوکسونومی برای جستجوی مبتنی بر برچسب تکیه میکنند. مقاله [2 [جستجوی مبتنی بر فوکسونومی به صورت شخصیسازی شده برای هر کاربر را در سرویسهای چندرسانهای اجتماعی ارائه میدهد. در این مقاله ازاطلاعات استخراج شده از فوکسونومی و ارتباطات برچسبها، کاربران و آیتمها برای جستجوی مبتنی بر برچسب به صورت شخصیسازی شده (نتایج بازیابی مختلف برای کاربران متفاوت) استفاده میشود. این مقاله برای ارزیابی کار خود از دادههای CiteULike استفاده کرده است. مقاله [10 [از ارتباط سهتایی میان کاربران، تصاویر و برچسبها که از فوکسونومی استخراج میشود، به منظور بهبود برچسب بهره میبرد. مقاله [11 [از ویژگیهای بصری و رخداد برچسب استخراج شده از فوکسونومی به صورت ترکیبی برای بهبود برچسب تصاویر استفاده میکند. در این مقاله به کمک آنچه در مقاله [2 [برای جستجوی مبتنی بر برچسب بر اساس اطلاعات فوکسونومی در سرویسهای اجتماعی ارائه شده است و همچنین با کمک ویژگیهای بصری استخراج شده از تصاویر، روشی پیشنهاد شده است که برای جستجوی مبتنی بر برچسب در فلیکر مورد استفاده قرار میگیرد. در بازیابی مبتنی بر برچسب بیشتر روشهای موجود در این بازیابی از ویژگیهای برچسب و ویژگیهای بصری به صورت جداگانه یا پشت سرهم به منظور تخمین میزان ارتباط برچسب با تصاویر استفاده میکنند که استفاده از اطلاعات فوکسونومی به همراه ویژگیهای بصری میتواند به بهبود نتایج جستجو کمک نماید. 3 -سیستم پیشنهادی شکل (4 (روش های پیشنهادی در بازیابی مبتنی بر تگ را ارائه می دهد.در این مقاله به کمک معماری ارائه شده در مقاله [17 [و همچنین با کمک مدل پیشنهادی مقاله [2 [برای جستجوی مبتنی بر برچسب و بر اساس اطلاعات استخراج شده از فوکسونومی یک معماری برای جستجوی های بصری تصویر جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگی 113 تصاویر اجتماعی ارائه میدهیم که از هر سه اطلاعات کاربران، آیتمها و برچسبهای موجود در فوکسونومی به همراه ویژگیهای بصری تصاویر به صورت همزمان برای بازیابی مبتنی بر برچسب استفاده می کنیم. ): ساختار سیستم پیشنهادی 4 شکل ( - معماری روش پیشنهادی 1 - 3 که برای برچسب گذاری و [17 به کمک مقاله [ بازیابی ویدئوها مورد استفاده قرار میگیرد، یک معماری سه لایه برای بازیابی تصاویر مبتنی بر برچسب در شبکههای اجتماعی تصاویر ارائه ) معماری روش پیشنهادی را 5 میدهیم. شکل( ارائه میدهد. ): معماری روش پیشنهادی 5 شکل ( معماری ارائه شده شامل لایه های ذیل است: GUI (که شامل ابزار اساسی برای لایه بالایی ( بازیابی مبتنی بر برچسب میباشد. Data (که شامل سه پایگاه داده لایه پایینی ( است: میباشد. DB Image :شامل دادههای خام تصاویر نگهداری میکند. DB Content :ویژگیهای بصری از تصاویر را تصاویر و برچسبها را نگهداری میکند. DB Social :که اطلاعات اجتماعی کاربران، جزء اساسی لایه میانی که شامل 3 در نهایت، است: استخراج کننده ویژگیهای بصری به منظور استخراج اتوماتیک ویژگیهای سطح پایین از تصاویر مورد استفاده قرار میگیرد. استخراج کننده اطلاعات فوکسونومی به منظور تصاویر و برچسبها مورد استفاده قرار میگیرد. استخراج ارتباطات سه تایی میان کاربران، ی ـ مهندس در طراحـی ات ـ اوری اطلاع ـ ه فن ـ مجل 114 پردازشگر جستجوی برچسب که بر اساس اطلاعات فوکسونومی و ویژگیهای بصری استخراج شده از تصاویر عمل جستجوی تصاویر را ارائه میدهد. 3-2 -مفاهیم اولیه قبل از وارد شدن به جزئیات، مفاهیم مقدماتی را که در بخش بعدی بهره برداری میشود، فرموله میکنیم. در جدول (1 (به صورت خلاصه نمادهایی که در مقاله استفاده شده است را ارائه میدهیم. جدول (1 :(نمادهای مورد استفاده در مقاله معنی نماد مجموعه کاربران U مجموعه برچسبها T مجموعه تصاویر I ماتریس برچسب-کاربر A ماتریس تصویر- برچسب N ماتریس شباهت تصویر-تصویر بر اساس اطلاعات استخراج شده از فوکسونومی H(Hk ) ماتریس شباهت تصویر-تصویر بر اساس ویژگیهای بصری تصویر ω(ω ௞ ) ن ماتریس شباهت تصویر-تصویر بر اساس ویژگیهای بصری و اطلاعات استخراج شده از فوکسونومی 1 µ(µ ௞ ) ماتریس وزن (شباهت واقعی) برچسب– تصویر بر اساس اطلاعات استخراج شده از فوکسونومی mWୌ ماتریس وزن (شباهت واقعی) برچسب – تصویر بر اساس ویژگیهای بصری تصویر mWω ماتریس وزن (شباهت واقعی) برچسب – تصویر بر اساس ویژگیهای بصری تصویر و اطلاعات استخراج شده از فوکسونومی W . μ 3-3 -ساختار فوکسونومی بصری بر اساس مقاله [19و18 [یک فوکسونومی بصری به صورت یک تاپل (A,I,T,U=(F تعریف میشود که U؛ مجموعه کاربران، T؛ مجموعه برچسبها و I؛ مجموعه تصاویر (آیتمها) و A؛ مجموعهای از اختصاص برچسبها (یعنی مجموعهای از ارتباط سهتایی میان کاربران، برچسبها و تصاویر) میباشد. بعلاوه عناصر A میتواند به صورت یک سه تایی (i,t,u=(a نمایش مییابد که t یک برچسب است که به وسیله کاربر u به تصویر i اختصاص یافته است. واضح است . A ⊆ U × T × I که بنابراین یک فوکسونومی میتواند به عنوان یک فضای سه بعدی از کاربران، برچسبها و آیتمها نمایش یابد که در سه ماتریس دو بعدی در شکل (6 (نشان داده شدهاند. شکل (6 :(ساختار یک فوکسونومی [2 [ بر اساس شکل (6 (میتوانیم با استفاده از اطلاعات تصاویر، برچسبها و کاربران به سه ماتریس مختلف برسیم: های بصری تصویر جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگی 115 N = [ n ୲ , ୧ ]|୘|×|୍| تصویر ماتریس برچسب-  بیانگر تعداد کاربرانی است که برچسب t را nt,i که اختصاص دادهاند. برای تصویر i A = [ a ୳ , ୲ برچسب |୘|×|୙|[ ماتریس کاربر-  با بیانگرتعداد تصاویری است که کاربر u au,t که برچسبگذاری کرده است. برچسب t که C = [ c ୳ , ୧ ]|୙|×|୍| تصویر ماتریس کاربر-  به بیانگر تعداد برچسبهایی است که کاربر u cu,i اختصاص داده است را نشان میدهد. تصویر i - استخراج شباهت بین تصاویر 4 - 3 به منظور محاسبه شباهت تصاویر با هم از سه روش ویژگیهای بصری، فوکسونومی و ترکیب ویژگیهای بصری و فوکسونومی کمک می گیریم. - محاسبه شباهت تصویر- تصویر به 1 - 4 - 3 کمک اطلاعات استخراج شده از فوکسونومی در اینجا بر اساس اطلاعات استخراج شده از تصویر را محاسبه فوکسونومی شباهت تصویر- میکنیم. برای محاسبه این شباهت میتوانیم از ماتریسهای مختلفی کمک بگیریم. ماتریس مورد استفاده در محاسبه شباهت  بین تصاویر ، برچسبهایی که یک تصویر [20 21و براساس [ را برچسبگذاری میکنند میتوانند مفهوم و موضوعات اصلی آن تصویر را مشخص میکنند. برای محاسبه شباهت میان تصاویر اگر دو تصویر به طور مکرر شامل یک مجموعه از آن دو تصویر ممکن است برچسبها باشند، موضوعات مشابهی را به اشتراک بگذارند که اساساً از برچسبها نشأت میگیرد. به علاوه اطلاعات آماری که در ماتریس کاربر- تصویر اطلاعات کمتری در محاسبه شباهت وجود دارد، میان تصاویر نسبت به اطلاعات آماری که در ماتریس برچسب- تصویر وجود دارد ارائه میدهد . در نتیجه برای محاسبه شباهت میان تصاویر [ 2 ] تصویر کمک می با هم از ماتریس برچسب- گیریم. تصویر روش محاسبه شباهت تصویر-  روشهای اندازه گیری شباهت متفاوتی وجود دارد که هرکدام منجر به مقادیر شباهت متفاوت میان جفتهای تصاویر میشود. تعداد زیادی از مقالات از شباهت کسینوسی برای محاسبه شباهت در فوکسونومی و برچسبگذاری اجتماعی . ما نیز از این روش [22 -26 استفاده کردهاند [ برای محاسبه شباهت کمک میگیریم. تصویر محاسبه شباهت تصویر-  تصویر را میتوانیم به یک ماتریس برچسب- (1 (بردار ستونی تبدیل کنیم: N = หi ଵ , i ଶ , … , i|୍|ห iୠ = หnଵ,ୠ, nଶ,ୠ, … , n|୘|, ୠห୘ که b = 1 , 2 , … برای|I, | ی ـ مهندس در طراحـی ات ـ اوری اطلاع ـ ه فن ـ مجل 116 بنابراین میتوانیم میزان شباهت را به کمک شباهت کسینوسی اندازه گیری کنیم. (2) h୶,୷ = cos൫i୶, i୷൯ = i୶. i୷ ‖i୶‖. ฮi୷ฮ در نهایت برای |I |تصویر، شباهت میان تصاویر میتواند با یک ماتریس شباهت تصویر- تصویر با نام H نشان داده شود. H = หh (3) ୶,୷ ห |୍|×|୍| 3-4 -2 -محاسبه شباهت تصویر-تصویر به کمک ویژگیهای بصری برای بهدست آوردن تصاویر نزدیک به تصویر بارگذاری شده بر اساس مقاله [28و27 [میتوانیم از دو مجموعه ویژگیهای سراسری و ویژگیهای محلی استفاده کنیم. در این مقاله از ویژگیهای محلی استفاده میکنیم و برای این کار از بردار 500 تایی word Visual و شباهت کسینوسی استفاده میکنیم: (4) ω = cos൫i୶, i୷൯ = i୶. i୷ ‖i୶‖. ฮi୷ฮ 3-4 -3 -محاسبه شباهت تصویر- تصویر بر اساس ویژگیهای بصری و اطلاعات اجتماعی بر اساس دو ماتریس ایجاد شده و H و رابطه (6 (میزان شباهت تصاویر با هم را بر اساس هر دو ویژگی بصری و اطلاعات اجتماعی محاسبه میکنیم: (5) μ = αH + (1 − α)ω که ؛ میزان تاثیر ویژگیهای بصری و فوکسونومی میباشد. ما 5/0 = α در نظر گرفتیم تا تأثیر یکسانی برای ویژگیهای بصری و فوکسونومی داشته باشیم. همچنین به منظور یکسان سازی بعد، ماتریسهای H و را به کمک رابطه نرمالسازی max-min به صورت زیر به بازه [1,0 [انتقال میدهیم: (6 (ܢ ܑ = x୧ − x୫୧୬ x୫ୟ୶ − x୫୧୬ که xi درایهای از ماتریسهای H یا ، xmin و xmax مینیمم و ماکزیمم مقادیر میباشند و Zi عدد نرمال بدست آمده در بازه [1,0 [میباشد. 3-4 -4 -حذف تصاویر غیر مرتبط به منظور حذف تصاویر غیرمرتبط با یک تصویر و همچنین کاهش بار محاسباتی [2 ،[برای هر تصویر تنها k مقدار شباهت نزدیکترین تصاویر به آن تصویر را در نظر گرفته و به ازای مقدار شباهت سایر تصاویر، صفر در نظر میگیریم و به ماتریسهای H ୩ , ω୩ , μ ୩ میرسیم. 3-5 -محاسبه وزن تصاویر و برچسبها به منظور محاسبه وزن برچسب- تصویر که همان شباهت واقعی میان تصاویر و برچسبها میباشد، از ویژگیهای فوکسونومی بر اساس مقاله [2 [و ویژگیهای بصری تصویر بر اساس مقاله [15 [بهره برده و یک روش ترکیبی بر اساس ترکیب اطلاعات استخراج شده از فوکسونومی و ویژگیهای بصری ارائه میدهیم. های بصری تصویر جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگی 117 - نرمالسازی ماتریس برچسب- 1 - 5 - 3 تصویر تصویر N، برای نرمالسازی ماتریس برچسب- ‖ i ୠ ‖ = 1 , b هر سطر از تصاویر به صورت = نرمال میشود. به صورت رابطهای ما 1 , 2 , … , |I| را به تصویر ෩N میتوانیم ماتریس نرمال برچسب- به گونهای تعریف نماییم؛ N෩ = [ n෤ ୲ , ୧ ]|୘|×|୍| صورت ) بدست میآید: 7 به صورت رابطه ( n෤ ୲ , ୧ که (7 ) n෤ ୲ , ୧ = n ୲ , ୧ ට∑ ( n ୨ , ୧ ) ଶ |୘| ୨ୀଵ ൙ برچسب بر - محاسبه وزن تصویر- 2 - 5 - 3 اساس اطلاعات فوکسونومی ] به کمک اطلاعات 2 بر اساس مقاله [ نشان میدهیم که چگونه یک فوکسونومی، برچسب خاص به تصاویر مشابه به تصویر داده شده اختصاص مییابد. برای این کار ما یک تصویر جدید را که از ضرب دو ماتریس برچسب- (8 (ماتریس بدست می آید میسازیم: Wୌ = N෩ × H ୩ و H ، ماتریس N نرمال شدة ؛ که ෩N k ؛ ماتریس شبیهترین تصویر میباشد که k شباهت تصویر- تصاویر را در هر ستون نگهداری میکند. تصویر بر - محاسبه وزن برچسب- 3 - 5 - 3 اساس ویژگیهای بصری روشی کار خود، به منظور ارزیابی و مقایسۀ اشاره شده است را به عنوان گام [15 که در مقاله [ بعدی محاسبه میکنیم. در این مقاله برای محاسبۀ وزن تصویر- برچسب از حاصلضرب تصویر ویژگیهای بصری در ماتریس برچسب- ( 9 استفاده شده است. برای این کار از رابطه ( استفاده میکنیم: ( 9 ) ܹఠ = ܰ෩ × ߱ ௞ - محاسبه وزن برچسب- تصویر بر 4 - 5 - 3 اساس ویژگیهای بصری و اطلاعات اجتماعی وزن برچسب- در گام بعدی برای محاسبۀ تصویر از ماتریس ترکیب اطلاعات فوکسونومی و ویژگیهای بصری برای شباهت تصاویر برچسبها کمک میگیریم. برای این کار از رابطه و 10 (استفاده می کنیم: ) Wୌ = N (10 ) ෩ × μ ୩ - جستجوی مبتنی بر برچسب 6 - 3 یک به منظور بازیابی مبتنی بر برچسب کاربر، یا مجموعهای از برچسبها را در ورودی وارد کرده و در خروجی مجموعهای از آیتمها تصاویر) به کاربر برگردانده میشود. برای ) بازیابی تصاویر مرتبط میتوانیم از ماتریسهای استفاده نماییم. Wμ ، Wன ، وزن Wୌ ارزیابی نتایج - 4 در این بخش به ارزیابی نتایج بازیابی مبتنی بر برچسب میپردازیم. - دیتاست مورد استفاده 1 - 4 برای ارزیابی روش خود از یک دیتاست استفاده [29 ] NUS تصویر واقعی به نام WIDE- ی ـ مهندس در طراحـی ات ـ اوری اطلاع ـ ه فن ـ مجل 118 میکنیم. این دیتاست شامل 269648 تصویر و 5018 برچسب وابسته میباشد. همۀ این تصاویر از وب سایت به اشتراک گذاری تصاویر فلیکر با 1 استفاده از API ارائه شدة آن دریافت شده است. به دلیل اینکه WIDE-NUS اطلاعات کاربران را شامل نمیشود [5 [و تنها شامل اطلاعات برچسبها و ویژگیهای بصری است، ما مجبور هستیم بهگونهای به این اطلاعات دسترسی پیدا کنیم. بدین منظور با استفاده از API موجود در فلیکر، اطلاعات کاربران را بهدست میآوریم. در واقع برای اینکه بتوانیم کار خود را ارزیابی نماییم، هم به ویژگیهای سطح پایین و هم به اطلاعات اختصاص برچسب موجود در فوکسونومی فلیکر نیاز داریم که برای بدست آوردن اطلاعات اختصاص برچسب از API موجود در فلیکر کمک میگیریم. در نهایت به 2824673 اختصاص برچسب دست یافتیم که شامل 43275 کاربر، 269648 تصویر و 298370 برچسب میباشد. دیتاست اختصاص برچسب بهدست آمده برای ارزیابی بسیار پراکنده بود. بنابراین بر اساس مقاله [2 [ما دیتاست را برای انجام ارزیابی به گونهای که معنادار باشد، کاهش میدهیم. ما از: 1 -کاربرانی که حداقل 5 تصویر را برچسبگذاری کردهاند. 2 -تصاویری که حداقل با 5 برچسب برچسب گذاری شدهاند و توسط 5 کاربر برچسب خورده باشند. 3 -برچسبهایی که حداقل توسط 5 کاربر استفاده شده باشند و 1 . www.flickr.com/services/api/ حداقل برای برچسبگذاری 5 تصویر مورد استفاده قرار گرفته باشند، در نهایت به 98651 اختصاص برچسب رسیدیم که شامل 3085 کاربر، 3960 تصویر و 8876 برچسب می باشد. 4-2 -پارامترهای ارزیابی به منظور ارزیابی نتایج جستجوی مبتنی بر برچسب بایستی مفاهیم معنایی نهفته در تصاویر مشخص باشد. بدین منظور دیتاست WIDE-NUS ، 81 مفهوم معنایی را انتخاب کرده و بهعنوان truth-Ground مورد استفاده قرار میدهد. جستجوی مبتنی بر برچسب میتواند به دو صورت انجام گیرد: جستجو بر اساس تنها یک برچسب یا جستجو مبتنی بر مجموعهای از برچسبها. در جستجوی مبتنی بر یک برچسب از هرکدام از 81 مفهوم معنایی موجود به عنوان پرس و جوی ورودی استفاده میکنیم و از truth-ground برای ارزیابی کار خود کمک میگیریم. میتوانیم از پارامترهای ارزیابی Precision ،Recall و-F measure برای ارزیابی جستجو مبتنی بر یک برچسب استفاده نماییم. در بحث بازیابی اطلاعات معمولاً از سه پارامتر ارزیابی زیر استفاده میکنیم: Precision (11) = ൠฬتصاویر بازیابی شده൜ ∩ ൠتصاویر مرتبط൜ฬ ൠฬتصاویر بازیابی شده൜ฬ Recall (12) = ൠฬتصاویر بازیابی شده൜ ∩ ൠتصاویر مرتبط൜ฬ ൠฬتصاویر مرتبط൜ฬ های بصری تصویر جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگی 119 یک پارامتر که Precision و Recall را با هم Precision و Recall تعریف میشود measure-F ترکیب کرده و به عنوان میانگین هارمونیک 13 (محاسبه میباشد که به صورت معادله ( میشود: (13 ) F = 2. Precision . Recall Precision + Recall در جستجوی مبتنی بر چند برچسب به دلیل ground برای چند اینکه دیتاست شامل truth- برچسب نیست ما پرسوجوهای مبتنی بر چند برچسب را با ترکیب مفاهیم معنایی و ground آنها انجام برچسبگذاریهای truth- میدهیم. به منظور اینکه تضمین کنیم پرس و جوهای مبتنی بر چند برچسب منجر به ground ترکیبهایی با کمتر truth کافی در دیتاست شود، از 50 تصویر را که با پرس و جو منطبق باشد در نظر نمیگیریم. اما برای ارزیابی جستجوی مبتنی بر چند برچسب از پارامتر ارزیابی دیگری به نام NDCG کمک می گیریم. درجه ارتباط یک تصویر عبارت است از تعداد به عنوان مثال برچسبهای مطابق با آن تصویر. اگر از سه برچسب پرس و جو تنها دو برچسب از ارتباط کمتری نسبت به یک تصویر مرتبط باشد، این دارد تا اینکه از سه برچسب پرس و جو سه بنابراین برای چند برچسب برچسب مرتبط باشند. از پارامتر NDCG کمک میگیریم. NDCG به تعریف می شود: (14 صورت رابطه ( (14 ) NDCG @ K = 1Z ෍ 2 ୰ୣ୪ ( ୰ ) − 1 log ଶ ( r + 1 ) ୩ ୰ ୀ ଵ مکان ranking ؛ فاکتور نرمال سازی، R ؛ که Z درجه نتیجه بازیابی شده و (r(rel؛ در بین k میباشد که عبارتست از: ارتباط تصویر در رتبه r تعداد برچسب های مرتبط (15 ) (query تعداد برچسب های جستجو شده( - ارزیابی جستجوی مبتنی بر برچسب 3 - 4 در این بخش ما به ارزیابی روش ارائه شده برای بازیابی مبتنی بر برچسب با استفاده از ترکیب اطلاعات فوکسونومی و ویژگیهای بصری استخراج شده از تصاویر پرداخته و نتیجه کار که تنها از ویژگیهای بصری [15 خود را با مقاله [ که از اطلاعات [ 2 استفاده نموده و همچنین مقاله [ استخراج شده از فوکسونومی به منظور بازیابی مبتنی بر برچسب در سرویسهای چندرسانهای اجتماعی ارائه شده است، مقایسه مینماییم. - جستجوی مبتنی بر یک برچسب 1 - 3 - 4 با در نظرگرفتن 50=k ، یعنی درنظر گرفتن حداکثر 50 نزدیکترین تصویر به برچسب مورد جوی کاربر و در نظرگرفتن صفر به جای پرسو نتایج ارزیابی روش ترکیبی بر سایر تصاویر، ، پارامتر ( 7 اساس پارامتر Precision در شکل ( در شکل F ) و پارامتر measure- 8 Recall در شکل ( ؛ بیانگر تعداد تصاویر ) ارائه شده است. N 9 ) بازیابی شده به کاربر میباشد. ی ـ مهندس در طراحـی ات ـ اوری اطلاع ـ ه فن ـ مجل 120 شکل (7 :(نتایج ارزیابی Precision برای یک برچسب شکل (8 :(نتایج ارزیابی Recall برای یک برچسب شکل( 9 :(نتایج ارزیابی measure-F برای یک برچسب عملاً ما نتایج را به صورت N@Precision ، .کردهایم ارائه F-measure@N و Recall@N همانطور که مشاهده میشود در جستجوی مبتنی بر یک برچسب، استفاده از ترکیب اطلاعات استخراج شده از فوکسونومی و ویژگیهای بصری بدست آمده از تصاویر ، نتایج بهتری نسبت به روشهایی که تنها از اطلاعات فوکسونومی یا ویژگیهای بصری استفاده میکنند ارائه می دهد. 4-3 -2 -جستجوی مبتنی بر چند برچسب با در نظر گرفتن 50=K به ارزیابی نتایج بر اساس پارامتر NDCG میپردازیم. شکل (10 (نتایج جستجوی مبتنی بر برچسب بر اساس پارامتر NDCG را ارائه میدهد. همانطور که مشاهده میشود، مقدار NDCG با درنظرگرفتن ترکیب اطلاعات فوکسونومی و ویژگیهای بصری بهتر از نتایج ارائه شده بر اساس اطلاعات فوکسونومی یا ویژگیهای بصری به تنهایی میباشد. شکل (10 :(نتایج ارزیابی NDCG برای چند برچسب 5 -نتیجهگیری و کارهای آینده در این مقاله با استفاده از یک معماری سه لایه و با در نظر گرفتن اطلاعات سه تایی کاربران، تصاویر و برچسبهای اختصاص یافته استخراج شده از فوکسونومی و همچنین ویژگیهای بصری تصاویر، روشی برای جستجوی مبتنی بر برچسب ارائه دادهایم. عمل بازیابی مبتنی بر برچسب، بر اساس حاشیهنویسیهای اختصاص یافته به وسیله کاربران به تصاویر انجام میگیرد. این Precision N Recall N F-measure N NDC G N های بصری تصویر جستجوی مبتنی بر برچسب در فلیکر با استفاده از ترکیب اطلاعات فوکسونومی و ویژگی 121 روش با چالشهایی همچون برچسبهای نویزی و عدم تمایل کاربران به برچسبگذاری همراه است. از هر برای رفع این چالشها مطالعات متعددی صورت جداگانه یا پشت سرهم استفاده نمودهاند، دوی اطلاعات برچسبها و ویژگیهای بصری به ولی مقالات کمی وجود دارند که از یک روش ترکیبی برای استفاده از برچسبها و ویژگیهای بصری استفاده کرده باشند. در این مقاله اطلاعات استخراج شده از فوکسونومی به همراه ویژگیهای بصری به صورت همزمان به منظور بهبود نتایج جستجوی ارزیابیهای مبتنی بر برچسب استفاده شده است. انجام شده نشان میدهد که استفادة همزمان اطلاعات استخراج شده از فوکسونومی به همراه اطلاعات استخراج شده از ویژگیهای بصری میتواند باعث بهبود نتایج بازیابی شده به کاربر شود. این بهبود هم در دقت نتایج و هم در میزان درجه ارتباط تصاویر بازیابی شده به کاربر مشاهده میشود. برچسب و کاربر-تصویر میتوان برای ارائۀ قابل بررسی است. با استفاده از ماتریس کاربر- سیستم ارائه شده از جنبههای مختلف در آینده پیشنهاد مبتنی بر برچسب و تصویر به کاربر استفاده کرد که در آینده میتوان به ارزیابی این پیشنهاد تصویر و برچسب روش برای ارائۀ پرداخت. همچنین میتوان به شخصیسازی نتایج جستجوی مبتنی بر برچسب و محتوا پرداخت. با عنوان FBR را [ 2 روش ارائه شده در مقاله [ میتوان برای شخصیسازی نتایج جستجوی مبتنی بر برچسب استفاده نمود و میتوان از تصویر به دست آمده برای کاربر- ماتریس به منظور شخصی سازی نتایج جستجوی مبتنی بر محتوا کمک گرفت. همچنین با استفاده از اطلاعات فوکسونومی میتوان به ویژگیهای بصری تصویر بارگذاری شده توسط کاربر و حاشیه نویسی تصاویر پرداخت. در واقع می توان معماری آینده روش پیشنهادی را به صورت شکل 11 (عنوان کرد. ) 11 :(معماری آینده روش پیشنهادی شکل ( ی ـ مهندس ر طراحـی د ات ـ اوری اطلاع ـ ه فن ـ مجل 122 مراجع 1

مراجع

1. R. Datta, D. Joshi, J. Li, and J. Wang, “Image retrieval: ideas, influences, and trends of the new age,” ACM Computing Surveys (CSUR), vol. 40, no. 2, pp. 5,2008. 2. Heung-Nam Kim, Majdi Rawashdeh , Abdullah Alghamdi , Abdulmotaleb El Saddik, “Folksonomy- based personalized search and ranking in social media services,” Information Systems vol. 37, no. 1, pp. 61-76, 2012. 3. Yue Gao, Meng Wang, Zheng-Jun Zha, Jialie Shen, XuelongLi, Xindong Wu, “Visual-Textual Joint Relevance Learning forTag-Based Social Image Search,” IEEE TRANSACTIONS ON IMAGE PROCESSING, 2011 4. S.A. Golder, B.A. Huberman, “Usage patterns of collaborative tagging systems,” Journal of Information Science vol. 32, no. 2, pp. 198–208 , 2006. 5. Xiaoming Zhang, XiaojianZhao, ZhoujunLi, JialiXia, RameshJain, WenhanChao, “Social image tagging using graph-based reinforcement on multi-type interrelated objects,” Signal Processing vol. 93 , no. 8 ,pp. 2178-2189, 2013. 6. M. Kato, H. Ohshima, S. Oyama, and K. Tanaka, “Can social tagging improve web image search?,” Lecture Notes in Computer Science, vol.5175, pp. 235–249, 2008. 7. L. Chen, D. Xu, W. Tsang, and J. Luo, “Tag-based web photo retrieval improved by batch mode re-tagging,” in Proceedings of IEEE InternationalConference on Computer Vision and Pattern Recognition, 2010. 8. K. Yang, M. Wang, X. S. Hua, and H. J. Zhang, “Social image search with diverse relevance ranking,” in Proceedings of ACM Conference on Multimedia Modeling, pp. 174–184, 2009. 9. X. Li, C. G. M. Snoek, and M. Worring, “Learning tag relevance by neighbor voting for social image retrieval,” in Proceedings of ACM conference on multimedia information retrieval, pp. 180–187, 2008. 10. Jitao Sang, Changsheng Xu, and Jing Liu. “User-Aware Image Tag Refinement via Ternary Semantic Analysis,” IEEE TRANSACTIONS ON MULTIMEDIA, VOL. 14, NO. 3, 2012. 11. Sihyoung Lee, Wesley De Neve, Yong Man Ro. “Tag refinement in an image folksonomy using visual similarity and tag co-occurrence statistics,” Signal Processing: Image Communication vol.25 , no.10,pp. 761-773 , 2010. 12. G. Zhu, S. Yan, and Y. Ma, “Image tag refinement towards low rank, content-tag prior and error sparsity,” in Proceedings of ACM International Conference on Multimedia, pp. pp.461-470, 2010. 13. X. Li, C. G. Snoek, and M. Worring, “Learning social tag relevance by neighbor voting,” IEEE Transaction on Multimedia, vol. 11, no. 7, pp.1310–1322, 2009. خطی فضای حالت بندی ایستای وایف با استفاده از سوئیچینگ ارائه یک مدل زمان 123 14. J. Bu, S. Tan, C. Chen, C. Wang, H. Wu, L. Zhang, and X. He, “Music recommendation by unified hypergraph: combining social media information and music content,” in Proceedings of ACM International Conference on Multimedia, pp. 391-400 , 2010. 15. Sare Gul Sevil , Onur Kucuktunc,Pinar Duygulu, Fazli Can. “Automatic tag expansion using visual similarity for photo sharing websites,” Multimedia Tools and Applications, vol.49 , no. 1, pp. 81-99,2010. 16. D. Liu, M. Wang, L. Yang, X. S. Hua, and H. Zhang, “Tag quality improvement for social images,” in Proceedings of IEEE InternationalConference on Multimedia, pp. 350–353, 2009. 17. Ilaria Bartolini, Marco Patella , Corrado Romani, “SHIATSU: tagging and retrieving videos without worries,” Multimedia Tools and Applications, pp. 1-29, 2013. 18. A.Hotho,R.J aschke, C.Schmitz,G.Stumme, “Information retrieval in folksonomies: search and ranking,” in:Proceeding sof the Third European Semantic Web Conference ,pp.411–426, 2006. 19. Sihyoung Lee, Wesley De Neve, Konstantinos N. Plataniotis, Yong Man Ro. “MAP-based image tag recommendation using a visual folksonomy,” Pattern Recognition Letters, vol. 31, no. 9, pp. 976-982, 2010. 20. K. Bischoff, C.S. Firan, W. Nejdl, R. Paiu, “Can all tags be used for search?, ” in: Proceeding of the 17th ACM Conference on Information and Knowledge Management, pp. 203–212, 2008. 21. X. Li, L. Guo, Y.E. Zhao, “Tag-based social interest discovery,” in: Proceeding of the 17th International Conference on World Wide Web, pp. 675–684, 2008. 22. M. Deshpande, G. Karypis, “Item-based top-n recommendation algorithms,” ACM Transactions on Information Systems, vol.22, no. 1, pp. 143–177, 2004. 23. R.J aschke, L.Marinho,A.Hotho,L.Schmidt-Thieme,G.Stumme, “Tag recommendations in social bookmarking systems ,” AI Communications, vol.21 ,no. 4, pp.231–247, 2008. 24. H.N.Kim,A.T.Ji,I.Ha,G.S.Jo, “Collaborative filtering based on collaborative tagging for enhancing the quality of recommendation,” Electronic Commerce Research and Applications, vol. 9, no. 1, pp.73–83, 2010. 25. S. Xu, S. Bao, B. Fei, Z. Su, Y. Yu, “Exploring folksonomy for personalized search, ” in: Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 155–162, 2008. 26. V. Zanardi, L. Capra, “Social ranking: uncovering relevant content using tag-based recommender systems,” in: Proceedings of the 2008 ACM Conference on Recommender Systems, pp. 51–58, 2008. 27. Ba Quan Truong, Aixin Sun, Sourav S. Bhowmick, “Content is Still King: The Effect of Neighbor Voting Schemes on Tag Relevance for Social Image Retrieval,” Proceedings of the 2nd ACM International Conference on Multimedia Retrieval. ACM, 2012. ی ـ مهندس ر طراحـی د ات ـ اوری اطلاع ـ ه فن ـ مجل 124 28. Aixin Sun, Sourav S. Bhowmick, Khanh Tran Nam Nguyen. “Tag-Based Social Image Retrieval: An Empirical Evaluation,” Journal of the American Society for Information Science and Technology (JASIST), vol.62, no. 12, pp.2364–2381, 2011. 29. Tat-Seng Chua, Jinhui Tang, Richang Hong, Haojie Li, Zhiping Luo, Yantao Zheng. “NUSWIDE: A Real-World Web Image Database from National University of Singapore,” Proceedings of the ACM International Conference on Image and Video Retrieval. ACM, 2009.