Show GN: 만화 이미지의 대사와 말풍선을 번역하는 AI Manga Translate를 만들었습니다

안녕하세요. 이미지 기반 만화를 좀 더 쉽게 번역할 수 있도록 AI Manga Translate를 만들고 있습니다. 일반 번역기는 텍스트를 복사해서 입력하는 방식이 대부분인데, 만화는 텍스트가 이미지 안에 있고 말풍선, 세로쓰기, 배경 위의 글자, 작은 폰트 등 때문에 단순 OCR + 번역만으로는 꽤 불편했습니다. 그래서 만화 페이지 자체를 입력으로 받아서 텍스트 영역을 찾고, 번역하고, 결과를 다시 확인하거나 수정할 수 있는 흐름을 만들었습니다. 주요 기능 만화 / 코믹 이미지 업로드 이미지 안의 텍스트 영역과 말풍선 감지 일본어 세로쓰기 포함 OCR 처리 여러 언어로 번역 번역 결과를 이미지 위에서 바로 확인 필요할 경우 번역 문구를 직접 수정 여러 페이지를 연속으로 처리하는 워크플로우 브라우저에서 바로 사용할 수 있는 인터페이스 만들면서 어려웠던 부분 만화 번역은 일반 문서 OCR보다 생각보다 까다로웠습니다. 특히 아래 부분에서 문제가 많이 생겼습니다. 세로로 배치된 일본어 텍스트 손글씨나 장식이 강한 폰트 배경과 글자 색이 비슷한 경우 말풍선이 겹치거나 모양이 불규칙한 경우 한 페이지에 여러 대화가 섞여 있을 때 읽는 순서 번역 후 글자가 말풍선보다 길어지는 문제 단순히 텍스트를 추출하는 것보다 어떤 문장이 어느 영역에 속하는지 유지하는 것이 더 중요했습니다. 빠른 번역과 편집 워크플로우 사용 목적에 따라 필요한 기능도 꽤 다르다고 느꼈습니다. 몇 장의 만화를 빠르게 이해하고 싶은 사용자는 복잡한 편집 기능보다 빠른 결과를 원합니다. 반대로 여러 페이지를 계속 작업하거나 결과를 다듬어야 하는 경우에는 번역된 문장을 직접 검토하고 수정할 수 있는 편집 기능이 중요합니다. 그래서 현재는 빠르게 결과를 확인하는 방식과, 번역 결과를 좀 더 세밀하게 검토하고 수정할 수 있는 방식으로 나누어 개발하고 있습니다. AI 번역의 한계 AI 번역이 많이 좋아졌지만 만화에서는 여전히 문맥 문제가 있습니다. 캐릭터의 말투, 존댓말, 농담, 고유명사, 앞뒤 장면의 맥락은 자동 번역만으로 완벽하게 처리하기 어렵습니다. 그래서 현재 목표는 사람의 검수를 완전히 없애는 것보다는 OCR, 초벌 번역, 이미지 처리처럼 반복적인 작업을 줄여주는 쪽에 가깝습니다. 직접 사용해 보기 현재 개발 중인 Manga Translator를 브라우저에서 바로 테스트할 수 있습니다. 특히 아래 부분에 대한 피드백을 받고 싶습니다. 일본어 세로쓰기 인식...