AI는 생각보다 똑똑하지 않다.

AI는 생각보다 똑똑하지 않다.

AI를 사용해보면 '모르는 게 없구나, 정말 똑똑하다'고 느낄 때가 많습니다.

그래서 일을 하다가 힘이 들면 'AI에 한 번 기대볼까?' 요령을 부려 볼 생각을 하곤 합니다.

하지만 세상이 그리 호락호락 하지는 않죠. AI와 심도 있는 대화를 10분만 나눠봐도 '요령 피우지 말자'는 생각을 하게 됩니다.

다른 분야는 잘 모르겠습니다. 하지만 제 전문 분야인 손해사정에서 깊게 들어가기 시작하면 AI 답변이 대부분 거짓말로 바뀌게 됩니다. 아마도 AI Hallucination (AI가 답변의 신뢰성을 높이기 위해 거짓 정보 등을 만들어 냄) 때문이지 않을까 싶습니다. 최근에 고객님들과 상담을 해보면 이미 AI로 검토하고 상담을 받는 경우가 많은데, 물론 큰 틀에서는 도움이 된다고 봅니다. 하지만 AI를 너무 맹신하면 일을 그르칠 수 있습니다. 그래서 오늘은 조금 특별한 포스팅을 하나 써보려고 합니다.

'AI는 생각보다 똑똑하지 않다'

저는 이번주까지 대학원 석사과정 레포트로 보험감독규제에 관한 의견을 내야합니다.

제가 손해사정 실무를 하고 있지만 모든 실무를 다 하는 것은 아니기 때문에 이번 레포트를 작성하면서 확신이 들지 않는 부분이 있었습니다. 그래서 AI 에게 한 번 질문해 봤습니다.

처음에는 그럴 듯한 답변을 해주길래 열심히 참고해서 레포트를 썼는데 질문이 추가되고, 내용이 복잡해지기 시작하니까 점점 답변이 이상하다는 것을 느낍니다. '어, 이게 아닌 거 같은데..?' 그래서 반문을 한 번 해봤습니다.

AI의 답변

바로 사과를 하더라구요. 근데 대법원의 판례를 거론하기에 조회해보니 존재하지 않는 판례입니다. 실무자들 사이에서 가짜 판례 논란은 옛날부터 유명했기 때문에 그냥 넘어갔습니다. 그리고 다른 내용을 살펴보다가 또 문제가 있길래 다시 지적했습니다.

AI의 답변2

이미 많이 겪어봐서 크게 기대하지 않았지만 결국 AI의 도움은 포기했습니다.

오늘 제가 이 포스팅을 작성하는 이유는 AI의 양날의 검에 대해 말씀드리기 위함입니다.

AI가 혁신적인 도구라는 점에는 매우 공감합니다. 그리고 AI가 가진 방대한 지식을 사용자가 바로 활용할 수 있는 점도 매우 매력적입니다. 어떤 분야에서는 그 깊이도 상당할 것이라고 생각됩니다. 하지만 정형화되지 않거나, 인터넷에 거의 없는 내용을 다루면 아직 한계가 있는 것 같습니다.

대기업 같은 곳은 그들만의 클라우드를 통해 별도의 학습을 하는지 모르겠지만 일반인인 우리가 쓰는 AI는 인터넷 데이터(판례, 논문, 블로그, 실무 가이드 등)를 통계적으로 학습한 결과물일 것입니다. 저도 인터넷 블로그와 홈페이지를 운영하고 있고, 실무사례 등을 게시할 때는 외부에 노출되기 꺼려하는 자료나 내용은 넣지 않습니다. 따라서 인터넷에 있는 수많은 손해사정 자료들은 대개 결론 위주의 단편적인 정보이거나, 마케팅 목적의 글이 많습니다. 정작 중요한 핵심 실무 데이터는 인터넷에 존재하지 않죠.

업계 선배님들 중에는 'AI가 도입된 이후에 문의가 늘었다'고 말하는 분도 있습니다.

과거에는 보험사의 보험금 심사에 대해 의문을 갖기 어려웠지만 이제는 AI를 통해 검증해 볼 수 있기 때문입니다. 'AI에게 물어보니 보험금을 받을 수 있다더라...' 이런 식의 문의가 생겨나고 있다는 것입니다.

현시점에서 AI가 가진 방대한 양의 자료는 방향을 정해줄 수 있지만 AI기술로 포착하지 못하는 사각지대는 결국 전문가인 손해사정사의 전문성으로 해결해야 한다는 것이 제 생각입니다.

AI를 활용하는 것과 맹신하는 것 중 어느 것을 택하시겠습니까?