Recomendados
Más contenido relacionado
Similar a Image processing
Similar a Image processing (9)
Image processing
- 2. 2 فهرست مطالب مقدمه Hipi HDFS فایل های کوچک Hadoop Archive Sequence File HIB(Hadoop Image Bundle) مثال کاربردی پردازش تصاویر در مقیاس بزرگ HBRSIPS
- 3. 3 مقدمه روز به روز تعداد و اندازه و وضوح تصاویر بیشتر و بیشتر می شود، پردازش این حجم عظیم از تصاویر ، زمان و منابع بسیاری را به خدمت میگیرد که بدون استفاده از تکنیک خاصی گاه ناممکن و گاه به سختی انجام می پذیرد.
- 4. 4 مقدمه(ادامه) Hadoop یکی از بسترهای کد باز برای ذخیره و پردازش حجم اطالعات بسیار باال طراحی شده است. MapReduce
- 5. 5 HiPi HIPI مخفف Hadoop Image Processing Interfaceیک کتابخانه برای چهارچوب MapReduce Hadoopکه برای پردازش تصاویر در محیط های محاسباتی توزیع شده بکار میرود.
- 6. 6 HiPi اهداف فراهم کردن کتابخانه قابل توسعه برای تصاویر در چهارچوب MapReduce ذخیره سازی موثر برای کاربرد های MapReduce فراهم کردن فیلتر گذاری بر روی تصاویر سرو کار نداشتن کاربر با جزئیات چهارچوبMapReduce راه اندازی کاربردی بسیار موازی و معتادل به صورتی که کاربر نگران جزئیات نباشد
- 8. 8 )HDFS(Hadoop Distributed File System فایل سیستم توزیع شده Hadoop برگرفته از ()Google File System اانجام عملیات ذخیره و بازیابی شامل دو قسمت NameNode DataNode مزایا افزایش Scalability قابلیت اعتماد باال(جلوگیری از از بین رفتن داده ها)
- 9. 9 ذخیره و پردازش فایل های کوچک فایل کم حجم(کوچک) به فایلی گفته می شود که بطور قابل توجهی حجم آن از اندازه بلوک پیش فرض )65 MB( HDFSکمتر باشد. مشکالت تعداد زیادی از دنبال کردن ها و پریدن ها از نود داده به نود داده دیگر برای خواندن اطالعات پردازش کندتر حتی 01 تا 001 برابر HDFS نمی تواند به تعداد زیادی از فایلها رسیدگی کند. بلکه برای فایل های بزرگ طراحی شده است MapReduce در مورد یک فایل با حجم زیاد بهتر عمل میکند تا تعداد زیادی فایل کم حجم
- 10. 01 )HAR files(Hadoop Archive یک راه حل مناسب برای مشکل بسیاری از فایل های کوچک تعداد زیادی فایلهای کوچک را در قالب یک فایل بسته بندی میکند برای کاهش بار در NameNode افزایش مقیاس پذیری سیستم
- 11. 11 Sequence Files راه حل دیگر مشکل فایلهای کوچک میتوان همه فایل ها در قالب یک فایل ذخیره کرد و سپس ان را پردازش کرد(به طور مستقیم یا )MapReduce
- 13. 31 HIB مخفف Hipi Image Bundle شامل تعداد زیادی تصاویر در قالب یک فایل که شامل دو فایل است: :DataFileشامل تصاویر الحاق شده :Index Fileشامل اطالعات محل تصاویر
- 14. 41 تفاوت )Hadoop Archive(HAR فقط برای آرشیو فایل ها مفید هستند ( به عنوان پشتیبان گیری ) و در واقع ممکن است کندتر از خواندن فایل به روش استاندارد باشد. Sequence File استاندارد بهتر برای فایل های کوچک خواندن به صورت سری و در نتیجه مدت زمان طوالنی برای ایجاد HiPi Image Bundle مشابه Sequence filesاما خواندن ان به صورت سری نمی باشد میتواند با استفاده از MapReduceتولید شود بر خالف بقیه قابل تنظیم و تغییر پذیر است
- 15. 51 مراحل انجام شده تا کنون Start HIPI HIB
- 16. 61 پشت صحنه HIPI Float Image رسیدگی به گوناگونی تصاویر رمزگذاری و رمزگشایی
- 17. 17 مراحل انجام شده تا کنون Start HIB HIPI Enc/Dec Float Image
- 18. 81 مرحله Culling بعد از توزیع ورودی ها و قبل از ارسال به Mapفراخوانده می شود. فیلترهایی بر روی تصاویر اعمال میکند.
- 21. 12 دانلود میلیونی تصاویر گام ها مشخص کردن یک لیست از تصاویر برای گرفتن جدا کردن ادرس ها به گروه هایی و ارسال هر گروه به Map دانلود تصاویر از اینترنت ذخیره تصاویر در HIB
- 22. 22 تصاویر در مقیاس بزرگ
- 23. 32 مشکالت جدا سازی تصاویر بزرگ در بسیاری از الگو های پردازش تصاویر ماهواره ای به ردیف و ارتباط پیکسلها با یکدیگر توجه می شود. حال اگر فایل فقط تقسیم شود و در بانک اطالعات دخیره شود الگوریتم محل داده ها و ردیف را تشخیص نمی دهد مخصوصا الگوریتمی که با ارتباط بین پیکسل ها سرو کار دارد. که نتیجتا باعث شود نتیجه اشتباه بدهد. داده ها خیلی اوقات پراکنده هستند و زمان زیادی میبرد که عملیات ارسال و دریافت انجام شود و این باعث کاهش سرعت پردازش می شود. HDFSبر اساس سایز جداسازی میکند متد جداسازی ساختار اطالعاتی تصاویر را می شکند که این میتواند ناسازگاری بین MapReduceو تاگوریتم پردازش تصویر به وجود اورد.
- 24. 42 HBRSIPS Hadoop Base Remote Sensing Image Processing System مخفف گام اول جداسازی با حفظ جامعیت اطالعات با استفاده از افزونگی مرزهای ردیف ها گام دوم ارسال هر ردیف به هر Map گام سوم الحاق ردیف ها در Reduce
- 25. 25 منابع Chris Sweeney,Liu Liu,Sean Arietta,Jason Lawrence (2013) 'HIPI: A Hadoop Image Processing Interface for Imagebased MapReduce Tasks', University of Virginia, (), pp. . Xin Pan,Suli Zhang (2012) 'A REMOTE SENSING IMAGE CLOUD PROCESSING SYSTEM BASED ON HADOOP', IEEE, (), pp. .