Recomendados
Más contenido relacionado
Similar a 247 deview 2013 이미지 분석 - 민재식
Similar a 247 deview 2013 이미지 분석 - 민재식 (20)
Más de NAVER D2
Más de NAVER D2 (20)
247 deview 2013 이미지 분석 - 민재식
- 1. 정보 추출을 위한 이미지 분석 - 분석의 장애물을 어떻게 극복할까? 민재식 부장 / 멀티미디어연구 lab / NAVER LABS
- 2. 이미지 분석으로 할 수 있는 일들 유사이미지 검색 정보 연결 사물 검색 이미지 분류 photo clipart sketch 아트 효과
- 3. 이미지 분석으로 할 수 있는 일들 유사이미지 검색 정보 연결 필요 석은 사물 검색 지분 이미지 분류 이미 하든 엇을 무 photo clipart sketch 효과
- 4. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
- 5. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
- 6. 데이터의 과다 이미지가 너무 크다?? 이미지 축소 이미지 축소 처리 처리 결과 확대 (or not) 결과 확대 (or not) 사물 위치 검출 주요영역 추출 이미지 분류 대부분의 인식 … Image matting Image morphing …
- 7. Mission – 피사체와 배경의 분리
- 8. Spectral Clustering (brief overview) affinity matrix L q Construct N x N affinity matrix L Get M eigenvectors of L N p Lpq (pixel p와 q의 affinity) Project to M eigenvectors N (total # pixels) K-means clustering of M projections
- 9. Spectral Clustering (brief overview) affinity matrix L q Construct N x N affinity matrix L Get M eigenvectors of L N p Lpq (pixel p와 q의 affinity) Project to M eigenvectors N (total # pixels) K-means clustering of M projections bottleneck
- 10. 데이터 분량 줄이기 - superpixels 727 x 480 pixels 38 x 25 superpixels Superpixels --- What is it? • 일종의 over-segmentation • 데이터 수를 줄이는 효과 (e.g., 350,000 pixels à 1,000 superpixels) • 만약 일반 pixel 처럼 grid 성질을 유지하면 다루기 쉬워서 유리함
- 11. Superpixels - comparison Watershed algorithm SLIC algorithm vs. • Superpixel 간 grid 성질 유지하면 다루기 쉬움 • No need of nearest neighbor search • No need of defining geometric distance between superpixels
- 12. Distance between superpixels Watershed algorithm SLIC algorithm vs. or or … ? Distance between centroids is OK
- 13. SLIC superpixels – HOW? • K-means clustering (K=1,000) • Performed in local window • Seeds at the minimum gradien t 참조: Achanta et al., “SLIC Superpixels Compared to State-of-the-art Superpixel Methods”
- 14. SLIC superpixels – compactness parameter • Parameter m • Controls compactness • Low m à more color coherent • High m àmore compact K=500, m=10 K=500, m=40
- 15. SLIC superpixels – number of pixels parameter • Parameter K • The number of superpixels K=1000, m=20 K=2000, m=20
- 16. SLIC superpixels 효과 2,000 개의 superpixels 만으로도 원본의 주요 특징은 유지
- 17. Spectral Clustering 결과 (without superpixels) 축소 clustering on 56 x 37 reduced image 원본 727 x 480 56 x 37 확대 결과 727 x 480
- 18. Spectral Clustering 결과 (with superpixels) 축소 56 x 37 원본 727 x 480 clustering on superpixels 56 x 37 확대 결과 727 x 480
- 19. Spectral Clustering 결과 (without superpixels) 축소 clustering on 53 x 40 reduced image 원본 640 x 480 53 x 40 확대 결과 640 x 480
- 20. Spectral Clustering 결과 (with superpixels) 축소 53 x 40 원본 640 x 480 clustering on superpixels 53 x 40 확대 결과 640 x 480
- 21. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
- 22. Manga Camera (아이폰 앱) 촬영된 사진을 만화처럼 만들어 주기 만화 효과 요소 • 음영을 빗살문양으로 처리 (펜터치 효과) • 준비된 포토 프레임을 덧씌워 효과 극대화
- 23. Manga Camera의 만화효과 생성과정 어두운 부분 à black 원본 edge 추출 중간 부분 à 빗살문양 최종
- 24. Line drawing methods Edge vs. XDoG vs. FDoG Edge + dark shade XDoG FDoG 방향 노이즈 제거 작업이 필요
- 25. Line drawing method - XDoG eXtended DoG (XDoG) Gσ (= G smoothed) DoG (= Gσ – p·Gkσ ) S (= Gσ + DoG) threshold 밝기의 변화를 강조 XDoG 참조: Winnemoller et al., “XDoG - An eXtended difference-of-Gaussian c ompendium including advanced image stylization”
- 26. Line drawing method - XDoG eXtended DoG (XDoG) Gσ (= G smoothed) DoG (= Gσ – p·Gkσ) S (= Gσ + DoG) threshold Noise가 발생하는 이유? XDoG
- 27. DoG Difference of Gaussians (DoG) • DoG = Gaussian Smoothing with σ0 - Gaussian Smoothing with σ1 • 사람 망막에서 일어나는 메커니즘과 유사 (σ1 = 1.6 * σ0) • 밝기의 변화율이 강조됨. 하지만 노이즈 역시 강조됨 à 변화가 일어나는 방향으로만 강조한다면??
- 28. Gradient and tangent orientation Gradient orientation Tangent orientation Tangent flow map Gradient orientation : 색상, 밝기 변화량이 가장 큰 방향 Tangent orientation : gradient orientation의 수직 방향 (패턴의 흐름 방향)
- 29. Line drawing method - FDoG Flow-based DoG (FDoG) Step 1: 1-D DoG를 gradient orientation 방향으로만 적용한다 Step 2: Step 1의 결과를 tangent flow를 따라 smoothing 한다 à 전제조건: 방향이 정제된 flow map이 필요하다 참조: Kyprianidis et al., “Image Abstraction by Structure Adaptive Filtering”
- 30. Flow smoothing – 복잡한 방법 이미 구해진 flow map을 정제하는 작업은 복잡하다 case 1 average orientation case 2 o average orientation x case 3 case 4 magnitude의 차이가 크다면? orientation 여러 개를 smoothing 하려면?
- 31. Flow smoothing – 간단한 방법 Structure tensor by Sobel operator (gij): Structure Tensor of image f Eigenvalues of pixel (i,j) Eigenvectors of pixel (i,j) magnitude gradient tangent
- 32. Flow smoothing – 간단한 방법 Structure tensor by Sobel operator EFG 3-channel 이미지로 보관 (gij): Structure Tensor of image f Eigenvalues of pixel (i,j) Eigenvectors of pixel (i,j) magnitude gradient tangent
- 33. Flow smoothing - 결과 초기 tangent flow는 Sobel operator로 쉽게 구할 수 있음 하지만 각 픽셀의 tangent flow는 방향 노이즈가 많아 매끄럽지 않음 à Structure tensor image를 smoothing 한다 초기 tangent flow smoothed tangent flow
- 34. Flow smoothing – line drawing 적용결과 XDoG vs. FDoG 원본 XDoG FDoG
- 35. Flow smoothing – 활용 사례 Pen sketch 효과
- 36. Flow smoothing – 활용 사례 타일 모자이크 효과
- 37. Flow smoothing – 활용 사례 Horizon detection & leveling original (tilted horizon) horizon detection p Tangent or ientation o f pixel p corrected image
- 38. 이미지 분석을 방해하는 요인 연산량 high-level 노이즈 저화질 데이터 과다 low-level 노이즈 text overlay 조명 불량 picture frame 방향 노이즈 배경
- 39. Mission - 사진품질 자동측정 고품질 사진 사진 DB, 개인앨범 Best shot 삭제 폴더 대표사진 보정 사진이
- 40. 쌓이는
- 41. 속도
- 44. 정리,
- 45. 관리의
- 46. 속도
- 47. 저품질 사진
- 48. 사진 품질을 어떻게 측정하나? 사진의 품질 기준은 주관적이고 모호함 Semantic-level
- 50. 복잡 구도 인물간 친밀관계 인물의 표정 Low-level
- 51. 단순 구도 초점, 노출, 대비, 색상
- 52. 사진의 품질 제대로 판단하기 전체적으로
- 53. 초점이
- 54. 안
- 55. 맞았음
- 56. (X)
- 58. 피사체에
- 59. 초점
- 60. 제대로
- 61. 맞았음
- 62. (O)
- 63. 노출이
- 64. 부족함
- 65. (X)
- 66. 어둡지만
- 67. 노출
- 68. 문제는
- 69. 없음
- 70. (O)
- 71. 콘트라스트가
- 72. 강함
- 73. (X)
- 74. 콘트라스트가
- 75. 약함
- 76. (O)
- 78. 품질 오판단을 유도하는 high-level 노이즈 Picture frames Text overlay
- 79. 품질 오판단을 유도하는 high-level 노이즈 배경 또는 non-salient area도 품질측정 입장에서는 노이즈에 해당 이 영역의 low-level feature 값은 중요하지 않음 à 이미지 내 주요영역을 알아 낼 필요가 있다
- 80. 주요영역 검출 (Salient area detection) - Saliency map Saliency of pixel (i,j) : Sij = max of { Eij * Csij } Eij : edge density Csij : local color contrast in the neighborhood at scale s 참조: Achanta et al., “Salient Region Detection and Segmentation”
- 81. 주요영역 검출 (Salient area detection) Clustering of saliency map + 2D Gaussian modeling 주요영역의 low-level feature 값만으로 품질을 판단
- 83. 주요영역 검출 활용사례 - Thumbnail cropping Thumbnail cropping의 문제 3:2 비율의 thumbnail 생성 Stretch ?? Crop? … Where? 원본
- 84. 주요영역 검출 활용사례 - Thumbnail cropping Random 가로/세로 비율로 crop (주요영역 놓치지 않도록) 원본 6 random thumbnails
- 85. 주요영역 검출 활용사례 - Thumbnail cropping
- 86. 주요영역 검출 활용사례 - Thumbnail cropping Picture frame은 주요영역 검출 이전에 자동으로 제거
- 87. Summary – 분석의 장애물을 어떻게 극복할까? 연산량 low-level 노이즈 high-level 노이즈 데이터 과다 방향 노이즈 배경 picture frame Superpixels Flow smoothing 주요영역 추출 디테일 유지하면서 데이터 대량 감소 방향 노이즈를 간단하게 제거 분석 시 배경 등의 영향력을 감소
- 88. QA
- 89. THANK YOU