내 회사 기밀 문서를 AI로 분석해도 데이터가 새지 않는 오픈소스 도구
회사 문서를 AI에게 맡기고 싶지만 정보 유출이 걱정이라면, 오픈소스 OnPrem이 해답입니다. 내 컴퓨터에서 AI가 문서를 분석하되 데이터가 외부로 나가지 않고, 새로 추가된 AI 에이전트는 Docker 가상 환경에서 안전하게 작업합니다.
회사에서 AI를 쓰고 싶은데, 기밀 문서가 외부 서버로 전송될까 봐 걱정되신 적 있나요? 오픈소스 프로젝트 OnPrem.LLM이 바로 그 문제를 해결합니다. 내 컴퓨터에서 AI가 문서를 분석하되, 데이터는 한 발짝도 밖으로 나가지 않습니다. 3월 17일 공개된 v0.22.0에서는 AI 에이전트(AI가 스스로 판단하고 작업을 수행하는 기능)가 Docker 가상 환경 안에서 안전하게 실행되는 기능까지 추가됐습니다.
코딩 없이도 쓸 수 있는 AI 문서 분석 도구
OnPrem은 단순한 챗봇이 아닙니다. 6가지 핵심 기능을 웹 브라우저에서 바로 사용할 수 있는 문서 분석 도구입니다.
위 화면에서 볼 수 있듯이, 문서를 업로드하고 질문을 입력하면 AI가 문서 내용만을 근거로 답변합니다. 답변 아래에는 어떤 문서의 몇 페이지에서 정보를 가져왔는지 출처와 유사도 점수(0.877 등)가 표시됩니다. '이 AI가 지어낸 건 아닌지' 직접 확인할 수 있는 것입니다.
AI 에이전트가 가상 환경에서 안전하게 일한다
v0.22.0의 핵심은 AgentExecutor입니다. AI 에이전트란 사람이 시킨 작업을 AI가 스스로 판단해서 여러 단계에 걸쳐 수행하는 기능입니다. 예를 들어 '이 폴더의 보고서를 읽고 핵심 수치를 정리해서 새 파일로 만들어줘'라고 하면, AI가 파일을 열고 → 내용을 분석하고 → 결과를 저장하는 과정을 자동으로 처리합니다.
핵심은 보안입니다. sandbox=True 옵션 하나면 AI 에이전트가 Docker(격리된 가상 컴퓨터) 안에서만 작업합니다. 에이전트가 실수로 다른 폴더를 건드리거나, 데이터를 외부로 보내는 것이 물리적으로 불가능합니다.
# 설치
pip install onprem[agent]
# AI 에이전트 실행 (3줄이면 끝)
from onprem.pipelines import AgentExecutor
executor = AgentExecutor(model='ollama/llama3.2', sandbox=True)
result = executor.run(task='보고서 파일을 읽고 핵심 수치를 정리해줘', working_dir='./reports')이 3줄의 코드로 AI 에이전트가 9가지 내장 도구(파일 읽기/쓰기/편집, 검색, 웹 조회 등)를 활용해 작업을 수행합니다. 위험한 도구를 끄고 싶으면 disable_shell=True로 터미널 명령 실행을 차단할 수 있습니다.
워크플로우 빌더에서는 '문서 검색 → 요약 → 결과 종합' 같은 복잡한 작업을 블록을 연결하듯 만들 수 있습니다. 미리 만들어진 템플릿도 제공됩니다.
내 컴퓨터의 AI도 되고, 클라우드 AI도 된다
OnPrem의 가장 큰 장점은 유연성입니다. 완전히 오프라인으로 쓸 수도 있고, 필요하면 클라우드 AI를 섞어 쓸 수도 있습니다.
지원하는 AI 모델
내 컴퓨터에서 돌리기 (데이터 유출 0%) — Ollama, vLLM, llama.cpp 등을 통해 Llama 3, Qwen, DeepSeek 같은 무료 모델을 내 컴퓨터에서 직접 실행할 수 있습니다.
클라우드 활용 (더 높은 성능) — OpenAI GPT, Anthropic Claude, Google Gemini는 물론, 미국 정부 기관도 사용하는 AWS GovCloud까지 지원합니다.
웹 브라우저에서 바로 사용하기
코딩이 어렵다면 웹 앱을 쓸 수 있습니다. 터미널에서 명령어 하나만 입력하면 됩니다.
# OnPrem 설치
pip install onprem
# 웹 앱 실행
onprem --port 8000
# 이제 브라우저에서 localhost:8000 접속
웹 앱에서는 문서 업로드, 질문, 검색, 분석, 워크플로우 빌더까지 모든 기능을 마우스 클릭만으로 사용할 수 있습니다.
기밀 데이터를 다루는 모든 직종에게
법률 사무소라면 계약서 수백 건을 AI로 검토하면서도 고객 정보가 외부로 나가지 않습니다. 병원이나 의료기관이라면 환자 기록을 AI로 분석하되 HIPAA(미국 의료정보 보호법) 규정을 위반하지 않습니다. 금융회사라면 내부 보고서를 AI가 요약해주되 투자 전략이 유출되지 않습니다.
물론 개인 사용자도 자유롭게 쓸 수 있습니다. 내 컴퓨터에 있는 PDF, Word 파일을 올려놓고 AI에게 질문하는 '나만의 ChatGPT'를 무료로 만들 수 있는 것입니다.
왜 지금 주목받는가
기업들이 AI를 도입하고 싶어하지만, 데이터 보안 문제가 가장 큰 걸림돌입니다. 실제로 삼성전자는 2023년 ChatGPT 사용 중 반도체 설계 정보가 유출된 사건 이후 사내 AI 사용을 금지한 바 있습니다. OnPrem은 이런 문제를 근본적으로 해결합니다 — 데이터가 내 컴퓨터를 떠나지 않으니 유출될 수가 없습니다.
해커뉴스에서는 특히 샌드박스 실행 기능에 대한 관심이 높았습니다. AI 에이전트가 파일을 읽고 쓰는 권한을 가지면서도 격리된 환경에서만 작동한다는 점이 보안 전문가들의 호응을 얻었습니다. 현재 GitHub에서 오픈소스(Apache-2.0 라이선스)로 공개되어 있으며, pip install onprem 한 줄이면 바로 설치할 수 있습니다.
관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기