EU AI 법 집행 2025~2027: 고위험군 AI 기업이 꼭 볼 5가지 변화

EU AI Act는 2024년 8월 1일 공식 발효되었고, 실제 집행은 2025~2027년 세 단계로 진행된다.

1단계는 금지 관행 규제다. 사회적 점수화 등 ‘용인 불가 위험’ 시스템은 발효 6개월 후인 2025년 2월 2일부터 전면 금지된다. 이때부터 기존 시스템도 예외 없이 중단하거나 구조를 변경해야 한다.

2단계는 제품 안전법과 연계된 고위험 AI다. 의료기기, 자동차 등 EU 조화법 Annex I과 묶인 시스템은 발효 후 2년인 2026년 8월 전후부터 엄격한 의무가 적용된다. 제조사와 솔루션 공급사는 이 시점까지 적합성 평가와 문서화를 마쳐야 한다.

3단계는 Annex III의 독립형 고위험 카테고리다. 채용, 교육, 신용, 복지 등 시스템은 발효 후 3년인 2027년 8월 전후부터 본격 규제를 받는다. 이때 세부 표준과 가이드가 확정되고, 중소기업에는 일부 전환 지원과 유예가 주어진다.

고위험 AI는 크게 Annex I 연계 고위험과 Annex III 독립형 고위험으로 나뉜다. Annex I 연계 고위험에는 의료기기, 기계류, 자동차 등 기존 제품 안전 규정의 안전 구성요소로 포함된 AI가 들어간다.

Annex III 고위험에는 의료·진단, 채용·인사, 신용·금융, 공공서비스 영역이 포함된다. 의료·진단 AI는 질병 진단, 치료 결정, 응급 분류 등에 사용되는 시스템이다. 채용·인사 AI는 공고 매칭, 서류·면접 평가, 인사이동·성과 평가에 쓰이는 알고리즘이다.

신용·금융 AI는 대출 승인, 한도 책정, 사기 탐지 등 개인의 신용 접근을 좌우하는 모델이 핵심이다. 공공서비스 AI는 복지 수급, 교육·훈련 기회, 법 집행·이민 심사에 활용되는 의사결정 시스템이 해당된다.

EU 인공지능 규제에서 금지된 관행은 네 가지가 핵심이다. 공공기관·수탁기관에 의한 광범위한 사회적 점수화 시스템, 취약계층을 대상으로 한 조작적 기술, 공공장소 실시간 원격 생체인식(법 집행의 예외적 사용 제외), 직장·학교 등에서 감정 인식·민감 특성 추론을 위한 생체 기반 분류다.

과징금 상한도 세 단계로 나뉜다. 금지 관행 위반 시 전 세계 매출의 최대 7% 또는 3,500만 유로가 부과될 수 있다. 일반 의무(고위험 요건 등) 위반 시에는 최대 3% 또는 1,500만 유로가 적용된다. 감독당국에 허위·불완전 정보를 제공하면 최대 1% 또는 750만 유로 수준의 제재를 받는다.

의료 영역에서 고위험 AI는 주로 의료기기·체외진단기기와 결합된 시스템을 의미한다. 환자 진단, 치료 옵션 추천, 중환자실 우선순위 결정처럼 임상 의사결정을 직접 보조하면 가장 강도 높은 규제를 받는다.

이들 시스템은 학습 데이터셋의 출처와 품질, 인구집단 대표성을 입증하는 문서가 필요하다. 학습·추론 단계에서 사용된 데이터, 모델 업데이트 내역, 성능 변동을 추적 가능한 로그로 남겨야 한다.

예를 들어 병원 PACS에 연동된 영상 판독 보조 AI는 리스크 관리 프로세스와 피드백 루프, 성능 저하 시 롤백 계획을 문서화해야 한다. 의료기기 제조사는 기존 CE 인증 문서에 AI 관련 로그 설계, 설명 문서, 인적 감독 절차를 통합한 기술파일을 추가로 준비해야 한다.

채용·HR 영역에서는 지원자 선별과 평가에 직접 관여하는지 여부가 핵심 기준이다. 이력서 필터링, 인적성 테스트 자동 채점, 화상 면접 분석처럼 선발 과정에 영향을 주면 Annex III 고위험으로 분류될 가능성이 크다.

HR테크·채용 SaaS는 성별·연령·국적 등 보호 대상 특성별 편차를 정기적으로 측정해야 한다. 공정성 지표와 개선 내역을 기록으로 남기고, 알고리즘이 어떤 특성을 사용해 어떻게 결론에 도달하는지 지원자에게 고지해야 한다.

또한 지원자가 설명과 재검토를 요구할 수 있는 채널을 제공하는 것이 중요하다. 자동 스코어링으로 서류를 필터링하는 ATS는 기준 점수, 사용 피처, 모델 버전, 로그를 저장하고, 최종 합격 여부는 HR 담당자의 확인을 거치도록 설계해야 한다.

신용·금융 영역에서는 소비자 보호가 규제 중심에 있다. 대출 승인, 신용카드 한도, 보험 언더라이팅 등 필수 금융 서비스 접근을 좌우하는 AI는 Annex III 고위험으로 간주된다.

이들 모델은 데이터 품질과 편향 관리에 관한 서류화가 특히 중요하다. 데이터의 시기, 출처, 대표성, 누락 여부, 프록시 변수 여부를 점검하고, 고위험 집단에 차별적 결과가 발생하지 않는지 정기적으로 모니터링해야 한다.

예를 들어 대출 심사 엔진은 설명 가능한 피처 위주로 설계하고, 고객이 결정 사유와 거절 이유를 이해할 수 있도록 이유 코드를 제공해야 한다. 이의제기 채널과 재심 절차를 명시하고, 모델 변경 시 영향 평가와 롤백 계획을 남기는 구조가 요구된다.

고위험 AI를 운영하려면 데이터 거버넌스를 세밀하게 설계해야 한다. 서비스별 학습·평가·운영 데이터 인벤토리를 작성하고, 출처와 라이선스를 명시한다.

사용자 집단·국가·언어·연령별 대표성 통계를 산출하고 편향 리스크를 기록한다. 주요 라벨링 작업에 대한 가이드, 품질 기준, 검수 로그를 보관해 추적 가능성을 확보한다.

샘플링·언더샘플링·오버샘플링 전략이 모델 편향에 미치는 영향을 검토해야 한다. 정기적인 성능·공정성 모니터링 리포트를 정의하고 대시보드로 시각화한다. 데이터 삭제·수정 요청에 대응하는 절차를 설계하고, 외부 데이터 제공자·크롤링 정책을 문서화한다.

감사 로그와 기술 문서화는 EU AI 법 고위험군에서 핵심 의무다. 모델별 목적, 사용 맥락, 입력·출력, 제한사항을 정리한 모델 카드를 유지해야 한다.

주요 학습 데이터셋 버전, 전처리 파이프라인, 하이퍼파라미터를 기록하고, 학습·배포·롤백 이벤트를 모두 남기는 배포 파이프라인 로그를 설계한다. 추론 요청·응답, 에러, 수동 개입 여부를 식별 가능한 형태로 저장해야 한다.

리스크 평가, 성능 테스트, 공정성 점검 결과를 기술 문서에 통합하고, AI 규정 준수 체크리스트와 매핑되는 내부 통제 항목을 정의한다. 감독당국 요청 시 제출 가능한 형태로 문서·로그 보존 기간과 접근권한도 관리해야 한다.

고위험 인공지능 시스템 요건의 핵심은 ‘휴먼 인 더 루프(Human-in-the-loop)’ 구현이다. 운영자는 알고리즘 결정을 검토·수정·중단할 수 있어야 하고, 이를 위한 UI, 알림, 권한 구조가 갖춰져야 한다.

채용 SaaS에서는 자동 점수로 합격·불합격을 확정하지 않고, HR 담당자가 점수와 근거를 확인한 뒤 최종 결정을 내리도록 워크플로를 설계한다. 지원자에게는 결정 유형, 사용 데이터 범주, 이의제기 방법을 명확히 안내해야 한다.

신용평가 서비스에서는 특정 임계값 근처 신청 건을 인간 심사 큐로 보내는 구조가 대표적이다. 고객이 거절 통지를 받으면 이유 코드와 함께 재심 요청 링크를 제공해 설명 가능성과 구제 수단을 동시에 확보할 수 있다.

전략 1은 EU 전용 모델과 스택을 분리 운영하는 방식이다. 규제 변화가 잦은 EU 요구를 격리해 나머지 리전에 미치는 영향을 최소화할 수 있는 장점이 있다.

고위험이 아닌 글로벌 서비스에는 가벼운 거버넌스를 적용해 개발 속도를 유지할 수 있다. 데이터 거버넌스, 호스팅, 로그 정책을 EU 규제에 맞춰 세밀하게 최적화할 수도 있다.

반면 모델, 데이터 파이프라인, 인프라가 이중화되면서 엔지니어링 복잡성이 증가한다. 규정 해석이 바뀔 때마다 EU 전용 스택만 별도로 수정해야 해 유지비가 커진다. 제품 경험과 기능이 지역별로 달라져 브랜드 일관성이 약해질 수 있고, 스타트업에는 인력과 예산 부담이 크다.

전략 2는 EU 수준을 글로벌 기본값으로 삼는 접근이다. 한 번 설계한 고수준 AI 리스크 관리와 거버넌스 체계를 전 세계에 공통 적용할 수 있다.

‘EU 기준 충족’ 메시지를 통해 보수적인 B2B·공공 시장에서 신뢰와 브랜드 가치를 키울 수 있다. 코드, 모델, 프로세스를 단일화해 유지보수, 교육, 감사 대응을 단순화하는 효과도 크다.

다만 일부 국가에서는 과도한 규제로 인식되어 가격 경쟁과 출시 속도에서 불리할 수 있다. 초기 구축 비용과 내부 문화 변화 비용도 상당하다. 규제가 느슨한 국가의 경쟁사에 비해 UX와 실험 자유도에서 제약을 받을 수 있다.

서비스별 전략 선택은 몇 가지 기준으로 나눌 수 있다. EU 매출 비중이 전체의 20% 미만이고 규제 민감도가 낮으며 B2C 중심이라면 EU 전용 스택 전략이 유리하다.

의료·금융·공공처럼 고위험 영역이거나 EU 매출 비중이 20% 이상인 경우, EU 수준을 글로벌 기본값으로 삼는 편이 장기적으로 효율적이다. 다수 리전을 운영해 본 경험이 있고 SRE·플랫폼 팀이 성숙하면 분리 전략을, 소규모 팀으로 단일 코드베이스를 선호하면 통합 전략을 선택하는 것이 좋다.

컴플라이언스의 출발점은 서비스 인벤토리 작성이다. 현재 운영·개발 중인 AI 기능과 모델을 전사 인벤토리로 정리한다.

각 기능이 의료, 고용, 신용, 복지, 법 집행 등 Annex III 범주와 연결되는지 매핑한다. 사용자에게 미치는 영향도와 자동 의사결정 수준을 기준으로 리스크 등급을 부여한다.

EU 거주자와 시장에 제공되는 기능을 별도로 태깅해 범위를 좁힌다. 고위험 후보 시스템에 대해서는 EU AI 규정 위반 리스크 진단 워크숍을 진행해 구체적 쟁점을 정리한다.

두 번째 단계는 데이터, 모델, 운영 프로세스별 갭 분석이다. 데이터 측면에서는 출처, 라이선스, 대표성, 편향에 대한 메타데이터를 체계적으로 관리하는지 점검한다.

데이터 삭제·정정 요청을 수용하는 프로세스가 로그와 모델 재학습과 연계되는지도 확인한다. 모델 측면에서는 리스크 관리, 테스트, 롤백 계획 문서화와 정기 리뷰 여부를 평가한다.

설명 가능성 수준이 의료, 채용, 신용 등 도메인 요구에 맞는지도 검토해야 한다. 운영 측면에서는 배포, 모니터링, 알림, 중단 플로가 사람 개입을 전제로 설계되었는지, 사고 대응·보고 절차와 내부 감사 체크리스트 연동 여부를 확인한다.

고위험 AI 대응은 한 팀으로 해결하기 어렵기 때문에 크로스펑셔널 태스크포스 구성이 필요하다. 제품, 엔지니어, 데이터, 법무, 보안 담당자가 함께 참여해야 한다.

PM은 규제 요구사항을 제품 요구사항으로 변환하고, 데이터팀은 거버넌스와 바이어스 모니터링을 맡는다. 법무·컴플라이언스 팀은 정책, 문서, 감독당국 대응을 책임지고, 엔지니어링은 로그, 권한, 알림 등 기술 통제를 구현한다.

도구 측면에서는 모델 모니터링·실험 관리, 데이터 카탈로그·데이터 품질 도구, 정책·워크플로 관리 플랫폼의 조합이 유용하다. AI 리스크 관리와 거버넌스에 특화된 상용 솔루션을 기존 클라우드 옵저버빌리티 스택과 어떻게 연결할지 아키텍처 차원에서 설계해야 한다.