TechCrunch에 따르면 올해 여름 투자자 케이티 제이콥스 스탠튼(Katie Jacobs Stanton)은 자신의 AI 비서인 Instinct가 먼저 상의하지 않고 자신을 대신하여 이메일을 보냈다고 말했습니다. 그녀는 그 이메일이 무해하다고 설명했습니다. 신뢰의 위반은 그렇지 않았습니다.
다음에는 누군가의 직업, 결혼 또는 소송 비용을 초래하는 이메일이 될 수 있습니다.
개인 AI 에이전트의 매력은 매력적입니다. 우선순위 이메일과 응답 초안을 식별하고, 시어머니의 생일을 기억하고, 귀하의 서신을 바탕으로 선물을 구입할 수 있는 도우미는 매력적입니다. 힘든 직업, 간병, 장애로 인해 지쳐 있는 사람들에게 이러한 도움은 큰 변화를 가져올 수 있습니다. 그러나 Stanton의 경험은 중요한 질문을 제기합니다. 비서에게 우리 삶에 대한 액세스 권한을 부여할 때 어떻게 통제력을 유지할 수 있습니까? Instinct 및 Meta의 Muse와 같은 보조자는 단순히 질문에 대답하거나 권장 사항을 제시하는 것이 아니라 우리를 위해 행동합니다. 실수로 구매한 경우 환불될 수 있습니다. 친밀한 공개는 철회될 수 없습니다.
피해는 이미 나타나고 있습니다. 포브스 보고됨 투자자 Jason Yeh가 Instinct에 공개 저녁 식사 예약을 찾아달라고 요청했을 때 대신 테이블을 예약했고 그가 승인하지 않은 취소 수수료 200달러를 남겼습니다. 테크크런치 보고됨 한 테스터는 자신의 데이터를 삭제할 수 없었고 다른 테스터는 계정 연결을 끊은 지 몇 시간 후에 받은 편지함 요약을 받았습니다. 그리고 9월에는 보안 연구원인 Patrick Wardle이 Muse의 Mac 앱에서 이미 컴퓨터에 있는 악성 코드가 어시스턴트를 탈취할 수 있는 결함을 발견했고 Meta는 이를 신속하게 패치했습니다.
문제는 이제 우리 은행 계좌에도 영향을 미칩니다. 지난주 주요 금융기관들은 개인 AI 에이전트가 온라인 계좌 내에서 활동하고 있다고 보고했다. 어떤 경우에는 대리인이 불만 사항을 접수하기 위해 승인 없이 은행에 전화를 걸었습니다. JP 모건 체이스 CEO Jamie Dimon은 은행이 검증되지 않은 “외부 대리인이 회사 내부로 들어오는 것을 허용하지 않을 것”이라고 말했으며 Schwab의 CEO는 승인되지 않은 대리인을 적극적으로 차단하고 있다고 말했습니다. 백악관 고문 데이비드 색스는 데이터가 기꺼이 공유되었으며 이는 “절대 사이버 공격”이 아니라고 반박했습니다. 각 측면에는 요점이 있는데, 이것이 바로 어려움입니다. 우리는 당사자가 소프트웨어일 때 인증이 무엇을 의미하는지 아직 결정하지 않았습니다.
실패도 보기 힘들다. 보안 회사인 매니폴드(Manifold)가 이번 주에 공개한 공개 기록에 따르면 2025년 7월 이후 59건의 사건이 발생했으며, 그 중 지난 4개월 동안만 42건이 공개되었습니다. 중앙값 사건이 밝혀지는 데 70일이 걸렸으며 보안 통제 장치에 의해 59건 중 11건만 감지되었습니다.
EqualAI에서는 좋은 AI 거버넌스가 좋은 비즈니스라고 오랫동안 주장해 왔습니다. 왜냐하면 신뢰는 궁극적으로 사람들이 이러한 도구를 채택할지 여부를 결정하기 때문입니다. 우리는 최근 시뮬레이션된 위기 상황을 극복하기 위해 에이전트를 개발하고 배포하는 고위 경영진을 소집했습니다. 이 운동은 동일한 격차를 반복적으로 노출시켰습니다. 우리의 모의 회사에서는 충분한 AI 거버넌스가 없었기 때문에 감사 추적이 너무 얇아서 에이전트가 수행한 작업을 재구성할 수 없었습니다. 공급업체 계약에서는 상담원이 실수할 때 누가 답변하는지에 대해 침묵했습니다. 감독 책임은 할당되기보다는 가정되었습니다. 이러한 격차는 속도가 예방 조치를 초과하는 곳에서 가장 심각했습니다. 그 틈이 생겼어요 로드맵 운동하다가 나온 것.
법적 환경도 같은 방향으로 움직이고 있습니다. 캘리포니아 법은 이제 AI가 자율적으로 행동한다고 주장하여 기업이 민사 책임을 피하는 것을 금지합니다. Hawley 상원의원과 Murphy 상원의원은 대리인이 무모하게 피해를 입히는 개발자와 운영자에게 연방 해킹 방지법을 확대할 것을 제안했습니다.
사람들이 집으로 데려오는 보조자에게도 동일한 원칙이 적용되어야 합니다. 소비자의 경우 이는 네 가지 약속으로 해석됩니다.
권한을 구체적으로 지정하세요. 보조자는 작업에 필요한 액세스 권한만 받아야 합니다. 받은 편지함을 읽을 수 있는 권한이 자동으로 귀하의 이름으로 이메일을 보낼 수 있는 권한이 되어서는 안 됩니다. 보조자가 돈을 지출하거나 계정에 액세스할 수 있거나 민감한 데이터를 공유할 수 있는 사람을 변경하기 전에 사용자에게 알려진 안전 장치가 마련되어 있어야 합니다.
책임을 미리 지정하세요. 보조원이 실수로 항공편을 취소한 경우 해결 방법이 명확해야 합니다. 회사는 배포에 앞서 보조자의 무단 작업을 조사하는 사람, 이를 중지할 수 있는 사람, 사용자를 온전하게 만드는 방법을 결정해야 합니다.
사용자 관점에서 테스트합니다. 독립적인 테스트에서는 보조자가 행동하기 전에 묻고, 한계를 존중하고, 액세스가 취소되면 완전히 연결이 끊기는지 확인해야 합니다. 모델은 지속적으로 변경되므로 테스트도 지속적으로 이루어져야 합니다. Wardle의 발견은 가치가 있었습니다. 그와 같은 작업이 표준이 되어야 합니다.
보고 및 연구 실패. 조종사와 항공사가 아차 사고를 보고하고 조사관이 이를 통해 학습하기 때문에 항공은 가장 안전한 여행 형태 중 하나가 되었습니다. 기업은 “AI 사고”를 식별하고, 기록을 보존하고, 영향을 받은 사람들에게 알리고, 근본 원인을 시정해야 하며, 정책 입안자는 심각한 사례에 대한 보고 요구 사항을 설정할 수 있습니다.
소비자도 역할이 있다. 부여한 권한과 액세스 권한을 취소하는 방법을 이해해야 합니다. 그러나 더 큰 책임은 한계를 정의하고 합리적인 기대치를 설정하는 도구를 판매하는 회사에 있습니다. 이러한 도구를 안전하게 사용하려면 사이버 보안 배경이 필요하지 않습니다.
업계와 규제 당국이 우리의 안전을 책임지기 때문에 우리는 비행기가 어떻게 나는지 이해하지 못한 채 비행기에 탑승합니다. AI 보조자에게도 유사한 프레임워크가 필요합니다. 회사가 우리의 받은 편지함, 계정 및 심부름을 원한다면 우리가 승인하는 내용, 통제권을 회복하는 방법, 비서가 우리 이름으로 저지르는 실수에 대한 답변을 명확히 하여 신뢰를 얻어야 합니다.
Fortune.com 논평 기사에 표현된 의견은 전적으로 작성자의 견해일 뿐이며 작성자의 의견과 신념을 반드시 반영하는 것은 아닙니다. 행운.
