자동화신뢰 (Trust in Automation)
쉽게 풀면
사람이 로봇이나 자동화 시스템의 판단을 얼마나 믿고 맡기는지를 다루는 개념입니다.
왜 중요한가
인간이 자율 시스템을 얼마나 신뢰하는지가 실제 협업 성과와 안전 행동에 영향을 미쳐, 협동로봇이나 자율주행차의 사용자 인터페이스 설계에서 중요하게 고려됩니다. 아무리 성능이 뛰어난 자율주행 기능도 운전자가 믿지 못해 계속 손을 대고 있으면 자동화의 이점을 살릴 수 없고, 반대로 완전히 믿고 신경을 꺼버리면 시스템이 대응하지 못하는 예외 상황에서 사고로 이어질 수 있어, 신뢰 수준을 적절히 관리하는 것이 자율 시스템 설계의 실질적인 성패를 가릅니다.
논문에서는 이렇게 쓰입니다
믿음이 너무 강하면 로봇의 실수를 알아채지 못하고, 너무 약하면 유용한 자동화 기능조차 쓰지 않게 되는 양쪽 위험이 모두 있다는 뜻입니다.
사용자의 신뢰를 원하는 수준으로 유도하는 것이 막연한 홍보가 아니라, 로봇이 자기 판단의 확신도를 투명하게 보여주는 구체적인 인터페이스 설계로 이뤄진다는 점을 보여주는 문장이다.
조금 더 깊게 보면
신뢰는 높다고 항상 좋은 것이 아니라, 시스템 능력을 과신하는 과도한 신뢰가 오히려 사고 위험을 높일 수 있어 적정 수준의 신뢰 형성이 설계 목표가 됩니다. 신뢰는 시스템의 실제 성능뿐 아니라 사용자의 과거 경험, 시스템이 얼마나 예측 가능하고 이해하기 쉽게 행동하는지, 실수했을 때 얼마나 투명하게 설명하는지에 따라서도 크게 달라집니다. 그래서 최근에는 로봇의 성능 자체를 높이는 연구와 별개로, 로봇이 자신의 불확실성이나 판단 근거를 사용자에게 전달하는 방식을 설계해 신뢰를 실제 성능 수준에 맞추려는 캘리브레이션 연구가 활발히 이뤄집니다.
주의할 점
지나친 신뢰(과신)는 사용자가 시스템의 한계를 인지하지 못해 사고로 이어질 수 있어 적절한 신뢰 수준 유지가 중요합니다.