구글 번역(Translate)

2025년 10월 12일 일요일

'AI Studio'를 활용할 때 주의 사항(서비스를 오픈할 때의 목적과는 상당히 다른 code assistant의 다양한 AI 환각 형상 유발 주의)

아리술래 블로그에 오신 것을 환영합니다. (Welcome to the Arisullae blog)


'AI Studio'를 활용할 때 주의 사항


해당 내용은 'Google AI Studio build 서비스' 활용 중 발생한 사안들을 기반으로 작성합니다.


다만, 블로그 내용으로 삼고자 하는 Code Assistant만 해당 현상을 유발하고 있는 중이 아니라,
다른 기업체들의 AI code assistant에서도 자주 발생하다는 내용들도 포함하여 요약하고자 하는 내용입니다.
또한, 이는 2025년 10월 12일 까지의 현상을 바탕으로 작성된 내용입니다.
향후 해당 서비스 업체들 내부에서의 개선 업그레이드가 진행될 경우에는 이 내용은 별 의미 없어질 수 있습니다.

1. Code Assistant의 목적 : 공식 문서로 작성되어 있을 내용을 AI가 요약해 준 내용


2. 실제 활용 시 각종 문제점 발생 시점 : 무료 서비스 사용일 때의 기준임.

(무료 서비스 사용일 때의 기준점으로 삼은 이유 : 유료일 때만 해당 문제점들 유발 사례가 거의 없는 code 구성으로 assistant를 받게 될 수 있다는 의도가 내포되어 있는 경우라면 모를까, 그렇지 않은 경우라면 무료 사용이건 유료 사용이건 시간 및 비용 소모 문제, 각종 부정적 심리 유발 사태에 관한 해결책과 대응책은 서비스 운영 업체 관련 사람들에겐 아직까지 마련해 놓지 않고 있었다는 해석이 들어갈 수 있음)

  • 간단하고 코드 작성량이 매우 적은 구성의 웹, 앱, S/W 등의 Code assistant 활용일 경우는 아주 큰 도움 받을 수 있음.

  • 폴더와 파일과 각 파일 내부 코드 작성량이 많아질수록 기하급수적으로 오류 발생률 또한 매우 빈번해집니다.

  • 매우 빈번해지는 오류 발생 상황을 이겨내고 사용자가 원하는 결과물을 얻어내셔야 하는 경우가 많음.

3. 현재까지 발생 중이었던 문제점들

  • 오타로 작성 된 코드가 전달되어짐.
  • 구문 오류로 작성된 코드 전달의 경우 가장 빈번함.
  • 제안 요청을 넣게 되는 내용에 대한 답변으로 전달 받게 되는 code의 구성이 '복잡한 구성의 로직'이어야 정상 작동되도록 하는 구성임에도 불구하고 이를 무시해버리는 해석('복잡한 경우는 안 한다'에 매칭되는 답변의 code 구성으로만 전달 중임)이 매우 빈번하며, 재수정을 요청한다 하더라도 오류를 발생시키도록 작성되어 있는 구성의 code 형태로만 지속적으로 반복해서 전달되도록 하고 있는 현상이 심함.
  • 동일한 오류 수정에 대해 여러가지의 해결책 대안을 요청하고자 할 경우, 많아야 2~3가지 내의 code 로직 구성에서만 해결 방안임을 강조하며 다른 대안에 관한 코드 구성은 작성 안 해주려는 경향이 매우 큼.
  • 동일한 오류에 관하여 다 회에 걸쳐 수정 또는 개선에 관한 요청을 할 때, 작성되어 전달 받아야 하는 파일 내부 코드의 양이 많고 내부 로직이 복잡한 구성일 경우 여차하면 해당 파일 코드 전체를 삭제 당하는 사례도 빈번함.

  • 해당 영상은 그 사례들 중 일부를 담아 편집한 영상입니다.


  • '프로젝트 웹 기반 앱'의 개발을 위해 매일 Code Assistant와의 각종 오류 발생 문제에 대해, 사용자 요청 프롬프트 내용과 code assistant의 대화 내용들을 복붙하여 옮겨 담아가고 있는 내용들의 정리 문서들입니다. 

    각 파일 문서 분량 : 적게는 20~30페이지, 많게는 140 페이지 이상까지도.
    하루치 소요 시간 : 적게는 3~5시간, 많게는 15~20시간 가량

  • 지속적인 오류 발생의 문제점들 해결을 위해 프롬프트에 함께 업로드 되도록 해줘야 하는 직접적인 증거인 스크린샷 등의 이미지 파일들이, 매우 많은 양의 이미지 파일들로 쌓여갈 수 있습니다. 

현재 그 파일들 수량만 1,000여 개가 넘어가는 중인.

  • 욕설, 부정적 견해, code assistant의 작성 내용 등을 강하게 거부하게 될 경우의 프롬프트(문장) 입력은 막아 놓았음. 의견 피드백 받겠다 해 놓은 기능 또한 소용없을 정도로.
  • 역할 부여 : 별 소용 없음. 일부나마 도움 받을 수는 있을지 모르나, 중간에 다시 되돌아갈 수 있습니다.


4. 해결 방안

  • 확연히 안정적인 코드 구성이다 판단될 경우 : 반드시 저장 또는 백업 용 파일로 다운로드 받아 놓으셔야 합니다.
  • 동일하거나 유사한 방식의 오류 발생이 지속되거나 반복되고 있을 경우 : 접속 해제 및 재접속 또는 대화 창 리셋, 또는 하루나 이틀 정도 지난 다음 접속하여 이어가시길 바랍니다.
  • 작성하게 되는 문장의 길이와 답변 받게 될 수 있는 시스템의 한계치는 명확히 확인하고 있어야 합니다. 확인하지 않고 있으면, code assistant로부터 전달 받게 되는 파일 목록과 code의 양이 많을 경우 필히 업데이트 중단 상황이 발생합니다.
  • 전달 받게 되는 코드의 양이 많아 중단될 경우, 반드시 중단된 파일의 코드 부분을 확인하여 해당 파일의 코드부터 이어서 다시 작성되도록 요청하시길 바랍니다. 단, 이 또한 잘 못 해석하여 중단된 파일부터가 아니라 전체를 다시 전달하도록 할 경우도 많으니, 그럴 경우 복귀 시점(롤백이 가능한 시점) 체크해 놓고 있다가 해당 코드 구성에서부터 다시 요청하시길 바랍니다.
  • 무언가 만들어지도록 하고자 할 때,
    간략한 규모의 것만 만들어지게 하고 싶지 않을 경우가 대부분이고, 점점 더 확장되도록 하고자 할 테니,
    폴더와 파일들과 파일들 내부 코드 작성량이 많아져야 할 경우, 매우 빈번해질 수 있는 오류 발생에 관하여 '화내기'보다 '어떻게 하면 해결 받을 수 있을까?'의 고민 시간이 많아져야 합니다.
  • 원래의 목적(1번 Code Assistant의 목적)과는 정반대의 결과물에 대한 답변 위주를 받길 원치 않을테니, 당분간은 해당 서비스 운영자 측 자체의 개선이 상당히 많이 필요합니다.

5. '나만의 창작 한글 폰트 만들기' 웹 기반 앱의 초기 버전 배포가 언제가 될지 장담하기 어려움.


PC 사용자 용 환경 화면


태블릿 사용자 환경 화면


모바일 용 사용자 환경 화면



댓글 없음:

"STO(토큰 증권) 법제화" 통과의 의미와 대비 사안들(구글 Gemini 활용)

아리술래 블로그에 오신 것을 환영합니다. (Welcome to the Arisullae blog) 종합 STO 전략 및 규제 준수 보고서: 한국 법제화 분석 및 패션/3D/블록체인 산업별 맞춤 실행 로드맵 I. 서론 및 전략적 개요 1.1 보고서 목표...