LLM을 내 데이터로 파인튜닝하면 성능은 좋아지지만 안전 규칙이 약해질 수 있습니다.
KAIST 연구팀은 학습 과정에만 ‘버퍼’ 모듈을 끼워 안전성을 지키는 프레임워크를 제안했습니다.
개인화 AI가 늘어나는 만큼, ‘잘하는 AI’와 ‘안전한 AI’를 함께 만드는 기술이 중요해집니다.

안녕하세요. 디지털에이전시 이앤아이입니다.

요즘 조직마다 ‘우리 업무에 딱 맞는 AI’를 만들고 싶어 하죠. 내부 문서로 답하게 하거나, 상담 톤을 맞추거나, 특정 업무 절차를 익히게 하는 식입니다.
그런데 여기엔 늘 따라붙는 걱정이 있습니다. 파인튜닝으로 똑똑해지긴 하는데, 원래 갖고 있던 안전 규칙까지 같이 느슨해질 수 있다는 점입니다.

KAIST 전기및전자공학부 김창익 교수 연구팀은 이 문제를 정면으로 다루면서, 개인화 과정에서 안전성을 지키는 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’ 학습 프레임워크를 제안했습니다.
핵심은 간단히 말해 ‘학습할 때만 안전 완충장치를 끼우고, 끝나면 깔끔하게 빼는’ 방식입니다.

이번 연구가 흥미로운 이유는 출발점이 조금 의외라서인데요.
연구팀은 위험한 요청을 거부하지 않도록 만든 ‘탈옥(Jailbreak)’ 상태의 AI를 특정 방식으로 활용하면, 오히려 맞춤형 학습에서 안전성이 크게 무너지지 않는다는 기존 결과에 주목했습니다.
물론 탈옥 상태를 서비스에 그대로 쓰겠다는 얘기는 아닙니다. 실제 서비스 적용은 위험하니까요.
K

대신 연구팀은 ‘버퍼로라(BufferLoRA)’라는 완충 모듈을 만들어, 파인튜닝 과정에서만 일시적으로 탈옥 상태를 적용하고 학습이 끝나면 제거하는 접근을 고안했습니다. 그리고 왜 이런 현상이 생기는지까지 세계 최초로 규명했다고 밝혔습니다.
요약하면, 탈옥 상태의 모델은 위험한 정보에 ‘쉽게 흔들리지’ 않으면서도 사용자가 원하는 새로운 업무 능력은 효과적으로 학습할 수 있다는 겁니다.

실험도 꽤 극단적으로 진행됐습니다. 사용자 데이터가 위험한 질문과 답변으로만 구성된 환경에서도, 재학습 이후 위험한 답변을 생성하는 비율이 약 8%로 나타났고, 재학습을 하지 않은 기존 모델(약 18%)보다도 낮았다고 합니다. 게다가 별도의 안전성 재학습을 추가로 하거나 계산 비용을 더 들이지 않고도, 개인화 성능과 높은 안전성을 동시에 확보할 가능성을 보여줬다는 점이 포인트입니다.

이런 기술이 필요한 곳은 생각보다 많습니다. 기업 내부 문서 기반 업무 보조 AI, 의료·법률·금융처럼 민감한 정보를 다루는 전문 분야 AI, 교육용 맞춤형 AI, 고객 상담 챗봇, 연구 보조 AI까지요.
실제 서비스 환경에서는 사용자 데이터가 다양하고 통제하기 어렵기 때문에, ‘개인화는 되는데 안전은 흔들리지 않는’ 구조가 사실상 필수 조건이 됩니다.

이번 연구는 국제머신러닝학회(ICML) 2026에서 스포트라이트 논문으로 채택되며 주목을 받았고, 연구팀은 향후 멀티모달 AI와 에이전트형 AI에서도 안전한 개인화를 확장하겠다고 밝혔습니다. 결국 개인화 AI의 다음 경쟁력은 ‘얼마나 똑똑해졌나’만이 아니라, ‘얼마나 안전하게 똑똑해졌나’가 될 가능성이 큽니다.

이앤아이 관점에서 보면, 조직이 AI를 도입할 때 이제는 기능 리스트보다 운영 설계가 더 중요해지고 있습니다.
어떤 데이터를 학습에 쓰는지, 파인튜닝 이후 안전성을 어떻게 점검하는지, 서비스 배포 전후로 어떤 가드레일을 두는지까지 한 세트로 설계해야 하니까요. ‘나만의 AI’를 만들 계획이라면, 개인화 성능과 안전을 함께 보는 체크리스트부터 준비해두는 게 좋겠습니다.
이앤아이와 함께 더 나은 웹 환경을 만들어 나가요!

#AI개인화 #파인튜닝 #LLM안전성 #KAIST #버퍼앤드리인포스 #BufferLoRA #탈옥 #AI가드레일

#이앤아이 #디지털에이전시 #ENIMedia #AI전문기업