수식과 표가 섞인 외국어 문서는 MinerU를 통해 텍스트 원형으로 뽑아낼 수 있습니다.
레이아웃이 뭉개지는 기존 문자인식(OCR)의 한계를 단번에 잡아줍니다.
해외 논문을 번역기에 넣었다가 낭패 본 적 있으시죠.
글자와 표가 전부 섞여서 난감할 때가 많습니다.
결론부터 말씀드리면 표와 수식을 살려내는 AI가 있습니다.
기존 번역기에서 글자가 엉키는 이유
단순 복사나 드라이브 문서 변환은 한계가 명확합니다.
화면에 찍힌 글자 위치만 일차원적으로 읽어냅니다.
2단으로 나뉜 논문 단락의 순서를 섞어버립니다.
텍스트 중간에 낀 표의 테두리도 전혀 구별하지 못합니다.
수학 공식은 의미를 알 수 없는 특수 기호 뭉치로 바뀝니다.
이 상태로 챗GPT에 밀어 넣으면 엉뚱한 뜻으로 번역됩니다.
글을 다듬는 데 원본 번역보다 더 오랜 시간이 걸립니다.
구조를 잃지 않는 MinerU의 특징
MinerU는 문서의 그림과 수식을 텍스트와 분리해서 파악합니다.
글과 그림, 표를 각각 독립된 구역으로 떼어냅니다.
그런 다음 서로 섞이지 않게 읽기 순서를 바로잡습니다.
아래 표는 일반적인 텍스트 추출과 MinerU의 차이입니다.
현재 상황에 맞게 필요한 기능을 가늠해 보시기 바랍니다.
| 분류 | 처리 방식 |
|---|---|
| 레이아웃 | 다단 순서 유지 |
| 수학 공식 | LaTeX 변환 |
| 표 데이터 | 셀 구조 유지 |
- 다단(2단)으로 나뉜 문서도 원래 읽기 순서를 유지합니다.
- YOLO와 UniMERNet 모델을 거쳐 수식을 기호 코드로 바꿉니다.
- 일반 텍스트에서는 깨지는 표도 원래 칸을 지켜냅니다.
영어와 중국어는 물론 한국어와 아랍어 스캔 문서도 지원합니다.
상황에 맞는 2가지 추출 방법
보안 규정과 인터넷 환경에 따라 접근 방식을 선택합니다.
1. 공식 웹 데모 사용하기
내 PC 사양을 타지 않고 브라우저에서 바로 실행합니다.
클릭 몇 번으로 마크다운 파일을 내려받을 수 있습니다.
- 브라우저에서 MinerU 공식 데모 사이트에 접속합니다.
- 변환할 PDF 파일을 화면 중앙으로 끌어다 놓습니다.
- 파싱 설정은 기본값인 'standard'를 유지합니다.
- 작업이 끝나면 'Markdown' 버튼을 눌러 저장합니다.
공식 웹사이트는 아래 검색 링크를 통해 들어갈 수 있습니다.
🔍 MinerU 공식 깃허브2. 내 PC 로컬 설치 (대외비 문서용)
외부로 넘어가면 안 되는 파일은 내 PC에 환경을 꾸립니다.
파이썬 3.10 이상 버전이 기본으로 깔려 있어야 합니다.
터미널에서 설치 명령어를 입력해 패키지를 내려받습니다.
명령어 환경에서 인터넷 연결 없이 오프라인으로 작동합니다.
보안이 엄격한 직장인이나 연구실에서 주로 씁니다.
대용량 문서를 스크립트에 물려두고 한 번에 처리할 수 있습니다.
추출한 텍스트로 번역 완성하기
마크다운에는 문서 뼈대가 코드로 기록되어 있습니다.
이 텍스트 전체를 복사해서 챗GPT나 클로드에 붙여넣습니다.
번역을 요청해도 원본 표와 수식이 제자리를 지킵니다.
- 파일에 암호나 수정 방지가 걸려 있으면 처리가 막힙니다. 미리 해제해야 합니다.
- 스캔본 해상도가 눈에 띄게 낮으면 텍스트 오탈자가 생깁니다.
- 파이썬 버전이 3.10 미만이거나 3.15 이상이면 막힙니다.
- 설치 중 에러가 나면 공식 GitHub Issues 탭에 로그를 남겨보세요. 개발자 코멘트를 받을 수 있습니다.
❓ 자주 묻는 질문
마무리
표와 수식이 가득한 문서도 새로 타이핑할 필요가 없습니다.
현재 상황과 문서량에 맞는 방식을 선택해 보시기 바랍니다.
※ 오픈소스 소프트웨어의 지원 환경과 정책은 버전 업데이트에 따라 달라질 수 있으니 설치 전 공식 문서를 최종 확인하시기 바랍니다.
