# MinerU, PDF를 JSON/Markdown 변환 및 OCR 등을 지원하는 데이터 추출 도구 (feat. 한국어 지원) **URL:** \ **Category:** 읽을거리&정보공유\ **Tags:** mineru, pdf-extraction-tool, ocr, pdf-reader\ **Created:** [11월 18, 2024, 1:24오후 UTC](https://discuss.pytorch.kr/t/mineru-pdf-json-markdown-ocr-feat/5527 "2024-11-18T13:24:06Z")\ **Posts on this page:** 1\ **Page:** 1
**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\ **Post date:** [11월 18, 2024, 1:24오후 UTC](https://discuss.pytorch.kr/t/mineru-pdf-json-markdown-ocr-feat/5527/1 "2024-11-18T13:24:06Z")
![MinerU: PDF를 Markdown/JSON으로 변환하는 데이터 추출 도구 - GitHub Header](https://discuss.pytorch.kr/uploads/default/original/2X/c/c99c058caaf51b29a919f770464de653f060c5a0.png) ## MinerU 소개 MinerU는 PDF를 비롯한 다양한 문서를 JSON이나 Markdown과 같은 기계가 읽을 수 있는 형식(Machine-Readable Formats)으로 변환하는 오픈소스 도구입니다. MinerU를 사용하여 PDF 문서에서 쉽게 데이터를 추출할 수 있으며, 텍스트, 테이블, 이미지 등 다양한 형태의 데이터를 효과적으로 처리하고, 과학 문헌의 기호 변환 문제를 해결하기 위해 개발되었습니다. MinerU는 대규모 언어 모델(LLM) 시대의 기술 발전에 기여하는 것을 목표로 합니다. ![MinerU, PDF를 JSON/Markdown 변환 및 OCR 등을 지원하는 데이터 추출 도구 (feat. 한국어 지원)](https://discuss.pytorch.kr/uploads/default/original/2X/c/cdd1419029c63f708366601628cf7cff9532ff12.jpeg) MinerU의 주요 기능은 다음과 같습니다: - **다중 포맷 지원** : MinerU는 PDF, 웹 페이지, 전자책 등 다양한 포맷에서 데이터를 추출할 수 있습니다. 특히 전자책의 경우 EPUB, MOBI 등의 주요 포맷을 지원하여 범용성을 높였습니다. - **테이블 인식 기능** : MinerU는 [StructTable-InternVL2](https://huggingface.co/U4R/StructTable-InternVL2-1B)와 같은 최신 AI 모델을 활용하여 복잡한 테이블도 정확히 인식할 수 있습니다. 테이블 구조를 파악하고 데이터를 추출하여 CSV 또는 JSON 형태로 저장할 수 있습니다. 또한, [RapidTable](https://github.com/RapidAI/RapidTable) 모델을 추가하여 단일 테이블의 파싱 속도가 최대 10배까지 향상되었습니다. - **레이아웃 분석** : PDF와 같은 비정형 데이터 소스에서 텍스트 순서를 올바르게 분석하는 것이 중요합니다. MinerU는 **LayoutReader** 와 같은 도구를 사용하여 읽기 순서를 정확히 분석하고, 데이터의 문맥을 유지합니다. - **콘텐츠 간 연계** : PDF나 웹 페이지에서 표, 그림, 텍스트 간의 연관성을 자동으로 분석하여 더 깊이 있는 데이터를 제공할 수 있습니다. 예를 들어, 그림이나 표의 설명 텍스트를 자동으로 연결하여 활용도를 높입니다. - **다국어 OCR 지원** : MinerU는 한국어와 영어, 중국어를 포함하여 84개 언어의 OCR 인식을 지원합니다. 이를 통해 스캔된 PDF를 자동 감지하고 OCR하는 기능을 포함하고 있습니다. 지원하는 전체 언어 목록은 [OCR 언어 지원 목록](https://paddlepaddle.github.io/PaddleOCR/latest/en/ppocr/blog/multi_languages.html#4-inference-and-deployment)을 참고해주세요. - **다중 플랫폼 및 환경 지원** : MinerU는 Windows, Linux, Mac 플랫폼과 호환되며, CPU 및 GPU 환경 모두에서 실행 가능합니다. ## :github: MinuerU GitHub 저장소 > **[GitHub - opendatalab/MinerU: Transforms complex documents like PDFs into...](https://github.com/opendatalab/MinerU)** > > Transforms complex documents like PDFs into LLM-ready markdown/JSON for your Agentic workflows. ## 📚 MinerU 공식 문서 사이트 [https://mineru.readthedocs.io](https://mineru.readthedocs.io) ## 🖼 온라인 데모 - 안정적인 버전 (Stable version verified by QA): [![OpenDataLab](https://camo.githubusercontent.com/ec1970a2f40168934afdcb90ded391d5a80e0100a36689175a173ca16ddf59a6/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f44656d6f5f6f6e5f4f70656e446174614c61622d626c75653f6c6f676f3d646174613a696d6167652f7376672b786d6c3b6261736536342c50484e325a79423361575230614430694d7a41694947686c6157646f644430694d7a4169494868746247357a50534a6f644852774f693876643364334c6e637a4c6d39795a7938794d4441774c334e325a7949675a6d6c7362443069626d39755a53492b436941385a47566d637a344b4943413862476c755a57467952334a685a476c6c626e516765544939496a41754e544d7a4e6a636949486779505349784c6a41774d44516949486b78505349774c6a49354d6a4535496942344d5430694c5441754d5445794e6a676949476c6b50534a68496a344b4943416750484e3062334167633352766343316a62327876636a3069497a45314e444e475253497650676f6749434138633352766343427a644739774c574e76624739795053496a4f454d304e6b5a47496942765a6d5a7a5a585139496a45694c7a344b494341384c327870626d5668636b6479595752705a57353050676f67494478736157356c59584a48636d466b61575675644342354d6a30694d4334314f5463314e79496765444939496a45754d4445784d7a636949486b78505349774c6a45784d44497a496942344d5430694c5441754d4467304e7a516949476c6b50534a69496a344b4943416750484e3062334167633352766343316a62327876636a3069497a45314e444e475253497650676f6749434138633352766343427a644739774c574e76624739795053496a4f454d304e6b5a47496942765a6d5a7a5a585139496a45694c7a344b494341384c327870626d5668636b6479595752705a57353050676f675043396b5a575a7a50676f675047632b43694167504852706447786c506b786865575679494445384c3352706447786c50676f67494478775958526f49476c6b50534a7a646d64664d5349675a6d6c736244306964584a734b434e684b5349675a443069625445754e6a497a4c4445794c6a41324e3245774c6a51344e4377774c6a51344e434177494441674d5341774c6a41334c4330774c6a4d344e4777314c6a4d784c4330334c6a67354e574d774c6a41324f4377744d433478494441754d5463734c5441754d546379494441754d6a67344c4330774c6a4a734d5451754d7a63334c43307a4c6a51334e4745774c6a51344e4377774c6a51344e434177494441674d5341774c6a55344e4377774c6a4d314e32777a4c6a59324d6977784e5334784e544a6a4d5334304e7a63734e6934784d5451674c5449754d6a67784c4445794c6a49324e7941744f43347a4f5451734d544d754e7a5131597930324c6a45784e4377784c6a51334e7941744d5449754d6a59334c4330794c6a49344d5341744d544d754e7a51314c4330344c6a4d354e5777744d6934784e5449734c5467754f544132656949676233426859326c30655430694d4334304969382b43694167504842686447676761575139496e4e325a3138794969426d6157787350534a31636d776f493249704969426b50534a744e5334344d6a59734f4334324e7a4e6a4d4377744d4334784d7a59674d4334774e5463734c5441754d6a5932494441754d5455334c4330774c6a4d314f4777334c6a41784e7977744e6934304d6a56684d4334304f4451734d4334304f4451674d434177494445674d43347a4d6a63734c5441754d544933624445304c6a63354c44426a4d4334794e6a67734d4341774c6a51344e5377774c6a49784e6941774c6a51344e5377774c6a51344e4777774c4445314c6a55344f574d774c4459754d6a6b674c5455754d446b354c4445784c6a4d344f4341744d5445754d7a67344c4445784c6a4d344f474d744e6934794f537777494330784d53347a4f4467734c5455754d446b35494330784d53347a4f4467734c5445784c6a4d344f4777774c4330354c6a45324d336f694c7a344b4943413863474630614342705a44306963335a6e587a4d6949475a706247773949694d3152446332526b596949475139496d30784d69347a4d7a45734f4334334e544e734c5459754d7a677a4c4330774c6a4d354f4777334c6a45794d6977744e6934314d6d77774c6a49354f5377314c6a67354d6d45774c6a6b334f4377774c6a6b334f434177494441674d5341744d5334774d7a67734d5334774d6a5a364969382b43694167504842686447676761575139496e4e325a3138304969426d615778735053496a4d4441794f455a454969426b50534a744d6a41754e4445324c4445314c6a41794d6d77774c4445754e7a4578595449754e4441304c4449754e444130494441674d434178494330304c6a67774f437777624441734c5451754d6a6334624330794c6a67784c4442734d4377304c6a59344e6d45314c6a49784e5377314c6a49784e534177494445674d4341784d4334304d797777624441734c5451754e6a6732624441734d6934314e6a64734c5449754f4445794c4442364969426a62476c774c584a3162475539496d56325a5735765a47516949475a7062477774636e56735a5430695a585a6c626d396b5a43497650676f67494478775958526f49476c6b50534a7a646d64664e5349675a6d6c7362443069497a41774d6a6847524349675a4430696254497a4c6a49794f4377784d7934344f4446734d5334784e437777624441734d5334784e4446734c5445754d5451734d4777774c4330784c6a4530624441734c5441754d444178656d30744d6934344d5449734c5441754e6a6b79624445754f444d304c4442734d4377784c6a677a4d3277744d5334344d7a51734d4777774c4330784c6a677a4d6d77774c4330774c6a41774d5870744d5334344d7a51734c5441754f546335624441754f5463344c4442734d4377774c6a6b334f5777744d4334354e7a67734d4777774c4330774c6a6b334f4777774c4330774c6a41774d5870744d5334314e4467734c5445754e6a4935624441754e6a45784c4442734d4377774c6a59784d5777744d4334324d5445734d4777774c4330774c6a59784d586f694c7a344b4943413863474630614342705a44306963335a6e587a596949475a706247773949694e6d5a6d596949475139496d30794d4334774f4459734d5451754f544579624441734d5334334d5446684d6934304d4451734d6934304d4451674d434178494445674c5451754f4441334c4442734d4377744e4334794e7a68734c5449754f4445794c4442734d4377304c6a59344e6d45314c6a49784e5377314c6a49784e534177494441674d4341784d4334304d797777624441734c5451754e6a6732624441734d6934314e6a64734c5449754f4445734d4777744d4334774d4445734d486f6949474e7361584174636e56735a5430695a585a6c626d396b5a4349675a6d6c73624331796457786c50534a6c646d56756232526b4969382b43694167504842686447676761575139496e4e325a3138334969426d615778735053496a5a6d5a6d4969426b50534a744d6a49754f446b344c44457a4c6a63334d5777784c6a45304c4442734d4377784c6a45304d5777744d5334784e437777624441734c5445754d5452734d4377744d4334774d444636625330794c6a67784d6977744d4334324f544a734d5334344d7a51734d4777774c4445754f444d7a624330784c6a677a4e437777624441734c5445754f444d79624441734c5441754d444178656d30784c6a677a4e4377744d4334354e7a6c734d4334354e7a67734d4777774c4441754f546335624330774c6a6b334f437777624441734c5441754f546335656d30784c6a55304f4377744d5334324d6a6c734d4334324d5445734d4777774c4441754e6a4578624330774c6a59784c4442734d4377744d4334324d5777744d4334774d4445734c5441754d4441786569497650676f675043396e50676f384c334e325a7a343d266c6162656c436f6c6f723d7768697465)](https://opendatalab.com/OpenSourceTools/Extractor/PDF) - 최신의 테스트 버전 (Synced with dev branch updates, testing new features): [![HuggingFace](https://camo.githubusercontent.com/545f0fe2269e1589381626b5ba6a4c447c6c043290697784879410280c85a90b/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f44656d6f5f6f6e5f48756767696e67466163652d79656c6c6f772e7376673f6c6f676f3d646174613a696d6167652f706e673b6261736536342c6956424f5277304b47676f414141414e5355684555674141414638414141425943414d414141436b6c39742f414141416b31424d5645564863457a2f6e51762f6e51762f6e51722f6e51762f6e51722f6e51762f6e51762f6e51722f7752662f7478542f7067372f7952722f7242442f7a527a2f6e67762f6f417a2f7a687a2f6e77762f7478542f6e67762f3042332b7a427a2f6e51762f3068372f77786e2f7652622f7468586b7569542f7278482f7078442f6f677a637179662f6e5176546c537a2f637a43786b79372f536a6966646a542f4d6a332b4d6a33774d6a313561546e444e7a2b445344395254554273503046524f3051364f305779497845494141414147485253546c4d414442387a535746336b7244447738544a314e625835656676386666392f66784b444a3975414141474b6b6c45515652343275325a3633716a4f41794743345277434f6642324a41477172536232576e54772f316633556157635347594e4b5464662f502b6d4f6b5472452b794a42756c7666764c543241357275656e61564879496b7333336e706c2f364334732f5a4c414d3435534f692f3146745a5079467572314f596f66425833773764353442786d2b453864622b6e4472313274746d45535a347a6c75644a4547355337544f373259506c4b5a4679452b594359554a54425a734d694e53355364374e6c446d4b4d324567324a516738617762676c667167626841726a786b533764677032524836686339414d4c645a5955745a4e35444a72346d6f6c433842664b72456b504b456e45566a4c62675731664c7937375a564f4a61676f49634c496c2b497861515a476a6958353937486f704635436b6158564d444f395079697833414656336b77346c514c436248754d6f767a3846616c6c626351494a35546130766b7339526e6f6c62434b383442746a4b5253357541343368596f5a634f424749473245706276364376465651386d386c6f683636574e7953736e4e3768744c35384c4e702b4e5854382f506858694258504d6a4c5378747770385739662f31416e6752696572426b412b6b6b2f497055534f654b42797a6e3879336b41414166682f2f306f58675634726f486d2f6b7a3445327a2f2f7a5263332f6c6777427a624d326d4a7851456135707167583764314c306874726878374c4b784f5a6c4b627763415779454f577159534938595074674451566a7042356e76614861536e426151534436687765446938506f737844362f50543039595933785141374c5443544b6659582b5148704130474363716d454876722f6379664b5154457577676273326b50784a454230694e6a664a63435450796f63782b413067726948536d4144694339316f4e4756774a363952756459653635764a6d6f716670756c306c727158616457306a464b4835424b77416543712b44656e37732b337a66524a7a4136312f556a2f39482f567a4c4b5478396a46505064586565502b4c37574576444c414b41496f46386250544b54302b544d37573865506a33527a2f596e336b4f41703266314b663057656f6e7937706e2f6350796476685159562b65464f666d4f753756422f5669506533342f454e33524648592f7952755438646443744d50482f4d6342415435732b765264652f676632632f7350736a4c4b2b6d354942514635744f2b683274546c42476e50363639334a6473766f666a4f506e6e45486b6832546e562f583166426c3953357a7277757746384e467241564a567743415054653867614a6c6f6d716c7030707634506a6e3938744a2f742f664c2b2b36756e705231594743326e2f4b436f613074544c6f4b6945655550446c39346e6a2b352f5476332f6554357642513630583153306f5a722b49575252384c64687537416c4c6a5049536c4a634f397672466f746b793953707a446571756c7745697235626559416330523744394b533144587661306a68595244586f4578506463367977354753686b5a58653951644f2f754f76486f66786a72562f544e5336694d4a532b3454635354676b396e3561674a64425162422f2f4966462f48707650743354626937623649364b305237327036616a7279454a72454e57326262655655476a66676f616c73344c3434336337424545346d4a4f32537062526e67785172414b527564527a4751386a564f4c327144566a6a49384b3167633354494a354b69465a31712b67647341525042344e515334416a77565374373244536f584e794f57557255356d51396e5259796a703839586f376f52493642676139514e54316d512f7074614a7135542f37576367415a7977522f586c5047415544646574334c452b71533054492b672b614a55384d49716a6f304b78384c792b6d61784c6a4a6d6a51313872413059436b784c5162555a50315771646d7951474a4c556d37566e5146716f646d5853716d527264567071647a6b354c766d76677445635738504d476461533233454f577944566241435a7a554a5061714d626a44787041335172676c3041696b696d474462716d79543850384e4f596971726c64463872582b594e37546f705834556f4875534359593763675834674877636c514b6c317a6878305448662b7443415556616c7a6a493757673945687074726b496366494a6a41393465764f6e384232654861567a7642726e6c32696730536f36687650617a304947634f7654487655496c45322b70727141784c5351785a6c55327374716c314e7143434c644969494e2f693144424548556f456c4d3964427261766269416e4b716770693449426b772b75745350496f42696a44584a6970535656374d704f454a55416335516d6d33426e554e2b7733687465456965594b66525a53495563584b4d5666307535774434457773554e56765a4f745554374132476b6666486a42795770487176524259725456373261366a387a5a3657304454453836486e3034626d795758335269395748375a55365137682b5a486f306e4855416373517656685852445a484368776979692f686e50754f735345463645786b336f365939445431655a2b36634153586b3259396b2b36454f514d44476d3657424b3130774f514a43427772656e383663505057556352416e54566a476355314c4267733946555269582f6536343739795a634c7743426d54786961774577724f636c6575753132743374624c762f4e34524c594942685965786d3746636e344f4a636e302b7a632b73382f5666506564645a4841474e365454386547637a4864522f477473312f4d7a446b54687232337a71725666414d465433334e7831524a7378316b357a7557494c4c6e472f7673482b46763544344e5456637031477a6f384141414141456c46546b5375516d4343266c6162656c436f6c6f723d7768697465)](https://huggingface.co/spaces/opendatalab/MinerU) [![ModelScope](https://camo.githubusercontent.com/cefa3a0aa0b04b14356ea9c36d5556034602ff2e616f4699c7267cbbfaed783d/68747470733a2f2f696d672e736869656c64732e696f2f62616467652f44656d6f5f6f6e5f4d6f64656c53636f70652d707572706c653f6c6f676f3d646174613a696d6167652f7376672b786d6c3b6261736536342c50484e325a79423361575230614430694d6a497a4969426f5a576c6e61485139496a49774d43496765473173626e4d39496d6830644841364c79393364336375647a4d7562334a6e4c7a49774d44417663335a6e496a344b436941385a7a344b4943413864476c306247552b544746355a5849674d54777664476c306247552b43694167504842686447676761575139496e4e325a3138784e4349675a6d6c7362443069497a59794e47466d5a6949675a443069625441734f446b754f4452734d6a55754e6a55734d4777774c4449314c6a59304f546b35624330794e5334324e537777624441734c5449314c6a59304f546b356569497650676f67494478775958526f49476c6b50534a7a646d64664d54556949475a706247773949694d324d6a52685a6d596949475139496d30354f5334784e4377784d5455754e446c734d6a55754e6a55734d4777774c4449314c6a5931624330794e5334324e537777624441734c5449314c6a59316569497650676f67494478775958526f49476c6b50534a7a646d64664d54596949475a706247773949694d324d6a52685a6d596949475139496d30784e7a59754d446b734d5451784c6a4530624330794e5334324e446b354f537777624441734d6a49754d546c734e4463754f4451734d4777774c4330304e7934344e4777744d6a49754d546b734d4777774c4449314c6a59316569497650676f67494478775958526f49476c6b50534a7a646d64664d54636949475a706247773949694d7a4e6d4e6d5a44456949475139496d30784d6a51754e7a6b734f446b754f4452734d6a55754e6a55734d4777774c4449314c6a59304f546b35624330794e5334324e537777624441734c5449314c6a59304f546b356569497650676f67494478775958526f49476c6b50534a7a646d64664d54676949475a706247773949694d7a4e6d4e6d5a44456949475139496d30774c4459304c6a4535624449314c6a59314c4442734d4377794e5334324e5777744d6a55754e6a55734d4777774c4330794e5334324e586f694c7a344b4943413863474630614342705a44306963335a6e587a45354969426d615778735053496a4e6a493059575a6d4969426b50534a744d546b344c6a49344c4467354c6a6730624449314c6a59304f546b354c4442734d4377794e5334324e446b354f5777744d6a55754e6a51354f546b734d4777774c4330794e5334324e446b354f586f694c7a344b4943413863474630614342705a44306963335a6e587a49774969426d615778735053496a4d7a5a6a5a6d51784969426b50534a744d546b344c6a49344c4459304c6a4535624449314c6a59304f546b354c4442734d4377794e5334324e5777744d6a55754e6a51354f546b734d4777774c4330794e5334324e586f694c7a344b4943413863474630614342705a44306963335a6e587a49784969426d615778735053496a4e6a493059575a6d4969426b50534a744d5455774c6a51304c445179624441734d6a49754d546c734d6a55754e6a51354f546b734d4777774c4449314c6a5931624449794c6a45354c4442734d4377744e4463754f4452734c5451334c6a67304c4442364969382b43694167504842686447676761575139496e4e325a3138794d6949675a6d6c7362443069497a4d3259325a6b4d5349675a4430696254637a4c6a51354c4467354c6a6730624449314c6a59314c4442734d4377794e5334324e446b354f5777744d6a55754e6a55734d4777774c4330794e5334324e446b354f586f694c7a344b4943413863474630614342705a44306963335a6e587a497a4969426d615778735053496a4e6a493059575a6d4969426b50534a744e4463754f4451734e6a51754d546c734d6a55754e6a55734d4777774c4330794d6934784f5777744e4463754f4451734d4777774c4451334c6a6730624449794c6a45354c4442734d4377744d6a55754e6a56364969382b43694167504842686447676761575139496e4e325a3138794e4349675a6d6c7362443069497a59794e47466d5a6949675a443069625451334c6a67304c4445784e5334304f5777744d6a49754d546b734d4777774c4451334c6a6730624451334c6a67304c4442734d4377744d6a49754d546c734c5449314c6a59314c4442734d4377744d6a55754e6a56364969382b436941384c32632b436a777663335a6e50673d3d266c6162656c436f6c6f723d7768697465)](https://www.modelscope.cn/studios/OpenDataLab/MinerU) * * * _이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗 [:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.) 🎁 아래↘쪽에 좋아요👍를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩