중국 농부가 AI 챗봇의 잘못된 정보로 10만㎡ 참깨밭을 손실했다. 67세 농부 A씨는 AI를 통해 농사 정보를 얻었으나, 챗봇의 약제 사용 권고를 믿고 참깨밭에 플루페나셋을 사용했다. 그 결과 전체 농작물이 피해를 입었고, 잡초와 해충 대신 참깨가 죽어나갔다.
전문가들은 해당 농약의 사용에 있어 정확한 투입량과 살포 방식을 따르지 않으면 농작물에 피해를 줄 수 있다고 경고했다. 이번 사례를 통해 AI가 전문적인 분야에서 오류를 내놓을 수 있는 위험성에 대한 경고가 증폭되고 있다.
이와 관련해 지난해 AI가 제시한 잘못된 정보로 브롬 중독에 걸린 사례도 발생했다. 이를 통해 AI의 정보를 제대로 검증하지 않을 경우 건강상 문제가 발생할 수 있다는 경고가 제기되고 있다. AI 서비스 기업들은 이에 대해 의료 분야 질문에 대한 안전장치를 강화하고 있으나, 챗봇이 의료적 판단이나 진단·치료를 대신할 수 없다는 점을 강조하고 있다.