[딜라이트닷넷=김보민 기자] 머신러닝(ML) 모델을 겨냥한 새로운 공격기법 '슬리피 피클(Sleepy Pickle)'이 등장했다는 소식이 나왔다. ML 모델을 패키징하거나 배포할 때 쓰는 포맷 '피클'을 악용하기 때문에, 공격에 따른 파급력 또한 커질 수 있을 전망이다.

17일 글로벌 보안업체 트레일오브비츠(Trail of Bits)에 따르면 슬리피 피클은 ML 모델을 손상시켜 이를 활용하는 최종 사용자에 공격을 가하는 기법이다. 트레일오브비츠 측은 "기본 (ML 배포) 시스템이 아닌 모델 자체를 표적으로 삼는 은밀하고 새로운 기술"이라고 평가했다. 

피클은 ML 분야에서 주효하게 쓰이는 파일 포맷이다. 데이터 파일에서 파이썬(Python) 객체를 저장하고 로드하는 직렬화 포맷으로 쓰이기도 한다. 그러나 피클은 공격자가 파일 내에 악성 바이트코드를 삽입하기가 쉽다는 특징 때문에 보안 위협에 취약하다는 지적이 나온 바 있다.

트레일오브비츠에 따르면 공격자는 역직렬화 과정에서 임의로 파이썬 페이로드를 실행할 악성 피클을 생성한다. 이후 직렬화된 ML 모델이 포함된 피클 파일에 페이로드를 삽입한다. 특정 대상에 특화된 공격 기술과 앱프로그래밍인터페이스(API)도 갖출 수 있다. ML 모델을 무너뜨린 후 악성 요인을 잠입시켜 최종 사용자에게 공격을 가하는 방식이다.

해당 공격은 엔드포인트 사용자는 물론, 공급망 손상까지 초래할 수 있을 것으로 보인다. 사용자 시스템에 존재하는 취약점을 침투하는 것도 가능하다. 트레일오브비츠는 "모델에서 처리되는 중요한 입력값이나 출력 데이터가 변조될 수 있다"고 말했다.

인공지능(AI) 시대에서 ML 모델 활용을 빼놓을 수 없다는 점에 이러한 공격 방식은 위협이 될 수 있다. AI 서비스 앱 등에서 사용하는 기본 모델이 손상될 경우 유해하거나 잘못된 정보를 생성해낼 수 있기 때문이다. 거대언어모델(LLM) 기반 AI 서비스에서 사용자 데이터를 탈취하는 것도 가능해질 전망이다. 통화 분석부터 문서 요약 및 번역 서비스 모두가 대상이 될 수 있다는 의미다.

트레일오브비츠는 "슬리피 피클은 고급 모델 공격이 기본 소프트웨어 구성 요소와 최종 애플리케이션 간의 연결을 통해 발생하는 공급망 약점을 악용할 수 있다는 점을 보여준다"며 "그러나 피클 외에도 다른 공격 벡터가 존재하고 있다는 점을 고려했을 때, AI 및 ML 모델과 기본 소프트웨어에 대한 보안 위험을 개별 고려하는 것이 충분하지 않다"고 말했다.

ML 모델을 이용한 유사 공격을 막기 위해서 안전한 파일 포맷을 사용하는 것이 중요해질 전망이다. 기업 측면에서는 권한 제한, 방화벽, 송신 트래픽 제어 등 주요 솔루션으로 사용자 시스템 손상을 방지하는 것이 관건이다.