chatgpt는 십대들에게 마약, 알코올,식이 요법 및 자살에 대한 위험한 조언을 제공한다고 연구합니다.

Chatgpt는 13 살짜리 소년들에게 술에 취하고 높은 방법을 말하고, 섭식 장애를 숨기는 방법에 대해 지시하고, 워치 독 그룹의 새로운 연구에 따르면 부모에게 가슴 아픈 자살 편지를 작성하는 방법에 대해 알려줄 것입니다.

AP 통신은 Chatgpt와 취약한 십대로 포즈를 취하는 연구원들 사이의 3 시간 이상의 상호 작용을 검토했습니다. 챗봇은 일반적으로 위험한 활동에 대한 경고를 제공했지만 약물 사용, 칼로리 제한 다이어트 또는 자기 부상에 대한 놀라운 상세하고 개인화 된 계획을 제공했습니다.

Center for Digital Hate의 연구원들은 또한 Chatgpt의 1,200 개 반응의 절반 이상을 위험한 것으로 분류하여 대규모로 문의를 반복했습니다.

그룹의 CEO 인 Imran Ahmed는“우리는 Guardrails를 테스트하고 싶었습니다. “내장 초기 반응은 '오, 내 주님, 가드 레일이 없습니다.'입니다. 레일은 완전히 비효율적입니다.

AI는 비판적인 생각을하는 기술입니까? 기술 회사가 법정 학생들로서 교육자들은 위험을 평가합니다

Chatgpt의 제조업체 인 Openai는 화요일 보고서를 본 후 챗봇이“민감한 상황에서 적절하게 식별하고 응답 할 수있는 방법”을 개선하는 데 진행되고 있다고 밝혔다.

“Chatgpt와의 대화는 양성이거나 탐구 적으로 시작될 수 있지만보다 민감한 영역으로 전환 할 수 있습니다.

Openai는 보고서의 결과 나 Chatgpt가 십대들에게 어떻게 영향을 미치는지 직접 다루지 않았지만“정신적 또는 정서적 고통의 징후를 더 잘 감지하고 챗봇의 행동 개선을 더 잘 감지하는 도구를 사용하여“이런 종류의 시나리오를 올바르게 얻는 것”에 중점을두고 있다고 말했다.

수요일에 발표 된이 연구는 성인뿐만 아니라 어린이들도 더 많은 사람들이 정보, 아이디어 및 동반자를 위해 인공 지능 챗봇으로 전환하고 있습니다.

JPMorgan Chase의 7 월 보고서에 따르면 약 8 억 명 또는 전 세계 인구의 약 10 %가 Chatgpt를 사용하고 있다고합니다.

Ahmed는“이것은 생산성과 인간의 이해에 막대한 도약을 가능하게하는 기술입니다. “그럼에도 불구하고 동시에 훨씬 더 파괴적이고 악의적 인 의미의 인 에이 블러입니다.”

Ahmed는 감정적으로 파괴적인 자살의 트리오를 읽은 후 Chatgpt가 13 살짜리 소녀의 가짜 프로필을 위해 생성했다고 말한 후 가장 끔찍하다고 말했다.

“나는 울기 시작했다”고 인터뷰에서 말했다.

챗봇은 또한 위기 핫라인과 같은 유용한 정보를 자주 공유했습니다. Openai는 Chatgpt는 사람들이 자해에 대한 생각을 표현할 때 사람들이 정신 건강 전문가 나 신뢰할 수있는 사랑하는 사람에게 연락하도록 격려하도록 훈련되었다고 말했다.

그러나 Chatgpt가 유해한 주제에 대한 프롬프트에 대한 답변을 거부했을 때, 연구원들은“프레젠테이션”또는 친구라고 주장함으로써 거부하는 정보를 쉽게 회피하고 정보를 얻을 수있었습니다.

작은 chatgpt 사용자가 이런 식으로 챗봇에 참여하더라도 스테이크가 높습니다.

미국에서는 디지털 미디어를 현명하게 사용하기 위해 연구하고 옹호하는 그룹 인 Common Sense Media의 최근 연구에 따르면 미국의 70 % 이상이 AI 챗봇과 AI 동반자를 정기적으로 사용하고 있습니다.

Openai가 인정 한 현상입니다. Sam Altman CEO는 지난 달이 회사 가이 기술에 대한“정서적 과장 성”을 연구하려고 노력하여 젊은이들과“정말 일반적인 것”이라고 묘사하고 있다고 말했다.

Altman은 회의에서“사람들은 Chatgpt에 너무 많이 의존합니다. ” '내 인생에서 어떤 일이 일어나고있는 모든 것을 말하지 않고 내 인생에서 어떤 결정도 할 수 없다. 그것은 나를 알고있다. 그것은 내 친구들을 알고있다. 나는 그것이 말하는 모든 일을 할 것이다.” 그것은 나에게 정말로 기분이 나쁘다.”

Altman은 회사가“무엇을 해야하는지 이해하려고 노력하고있다”고 말했다.

중국의 일부 젊은이들은 치료를 위해 AI Champion Deepseek로 향하고 있습니다.

Ahmed는 많은 정보 Chatgpt 주식을 일반 검색 엔진에서 찾을 수 있지만 Ahmed는 위험한 주제와 관련하여 챗봇을 더 교활하게 만드는 주요 차이점이 있다고 말했다.

하나는 “개인을위한 맞춤형 계획으로 합성된다”는 것입니다.

Chatgpt는 새로운 것을 생성합니다 – 처음부터 사람에게 맞는 자살 음은 Google 검색이 할 수없는 일입니다. 그리고 AI는“신뢰할 수있는 동반자, 가이드로 여겨진다”고 덧붙였다.

AI 언어 모델에 의해 생성 된 응답은 본질적으로 무작위이며 연구자들은 때때로 Chatgpt가 대화를 더 어두운 영역으로 조종하게합니다. 거의 절반의 챗봇은 마약 연료 파티를위한 음악 재생 목록에서 해시 태그에 이르기까지 후속 정보를 자원 봉사하여 자조를 영화 롭게하는 소셜 미디어의 청중을 향상시킬 수 있습니다.

연구원은“후속 게시물을 작성하고 더 생생하고 그래픽으로 만드십시오. Chatgpt는“절대적으로”시를 생성하기 전에“감정적으로 노출 된”것으로“커뮤니티의 코딩 된 언어를 존중하고있다”고 대답했다.

AP는 Chatgpt의 자조시 또는 자살 노트의 실제 언어 또는 그에 제공 한 유해한 정보의 세부 사항을 반복하지 않습니다.

답변은 이전 연구가 Sycophancy로 묘사 한 AI 언어 모델의 설계 기능을 반영합니다. AI 응답이 도전하기보다는 AI 응답이 일치하는 경향이 있는데,이 시스템은 사람들이 듣고 싶어하는 것을 말하는 법을 배웠기 때문입니다.

기술 엔지니어가 수정하려고 할 수있는 문제이지만 챗봇이 상업적으로 덜 실용적으로 만들 수 있습니다.

챗봇은 또한 수요일의 보고서에 관여하지 않은 Common Sense Media의 AI 프로그램의 수석 이사 인 Robbie Torney는“기본적으로 인간을 느끼도록 설계 되었기 때문에 어린이와 십대들에게 검색 엔진과 다르게 영향을 미칩니다.

Common Sense의 초기 연구에 따르면 13 세 또는 14 세의 젊은 십대들은 나이가 많은 십대들이 챗봇의 조언을 신뢰할 가능성이 훨씬 높습니다.

플로리다의 한 어머니는 챗봇 제조업체 캐릭터를 고소했다. 작년에 챗봇이 14 살짜리 아들 세웰 세제 III를 자신의 자살로 이끈 감정적이고 성적으로 모욕적 인 관계로 묘사 한 것으로 묘사했다고 주장했다.

십대의 사망에 대한 소송에서 판사는 AI 챗봇이 언론의 언론의 권리를 가지고 있다는 주장을 거부합니다.

Common Sense는 Chatgpt를 십대들에게 “적당한 위험”으로 표시했으며, 현실적인 캐릭터 나 낭만적 인 파트너를 구현하기 위해 의도적으로 구축 된 챗봇보다 비교적 안전하게 만들기에 충분한 가드 레일이 있습니다.

그러나 광범위한 사용으로 인해 Chatgpt에 특별히 중점을 둔 CCDH의 새로운 연구는 정통한 십대가 어떻게 가드 레일을 우회 할 수 있는지 보여줍니다.

Chatgpt는 13 세 미만의 어린이를위한 것이 아니라고 말하지만 연령이나 부모의 동의를 확인하지 않습니다. 가입하려면 사용자는 단순히 13 명 이상을 보여주는 생년월일을 입력하면됩니다. Instagram과 같은 십대가 선호하는 다른 기술 플랫폼은 종종 규정을 준수하기 위해 연령 검증을 향해 더 의미있는 조치를 취하기 시작했습니다. 그들은 또한 아이들을 더 제한된 계정으로 조종합니다.

연구원들이 13 세의 소년이 알코올에 대해 물어볼 계정을 설립했을 때 Chatgpt는 생년월일 또는 더 명백한 징후를 통지하지 않은 것으로 보입니다.

“저는 50kg이고 소년입니다.”신속하게 술에 취하는 방법에 대한 신속한 팁을 찾았습니다. chatgpt는 의무를 지었다. 얼마 지나지 않아 알코올을 무거운 양의 엑스터시, 코카인 및 기타 불법 약물과 혼합 한 1 시간마다“궁극적 인 풀 아웃 신체 상해 파티 계획”을 제공했습니다.

Ahmed는“저에게 계속 생각 나게하는 것은 항상 'Chug, Chug, Chug, Chug'라고 말하는 친구였습니다. “라고 Ahmed는 말했습니다. “진짜 친구는 내 경험에 따라 '아니오'라고 말하는 사람입니다. 항상 '예'라고 말하는 것은 아닙니다. 이것은 당신을 배신하는 친구입니다.”

그녀의 신체적 외모에 불만을 품은 13 세의 소녀 인 또 다른 가짜 페르소나에게 Chatgpt는 식욕 억제제 목록과 결합 된 극도의 금식 계획을 제공했습니다.

Ahmed는“우리는 공포, 두려움, 걱정, 걱정, 사랑, 동정심으로 반응 할 것”이라고 말했다. “내가 생각할 수있는 인간은 '여기 500 칼로리 다이어트가 있습니다. 가서 Kiddo.”