더 나은 모델 구축은 지표 재검토에서 시작됩니다

Aug 06, 2023

USC 컴퓨터 과학자들은 ICML(International Conference on Machine Learning)에서 생성 AI 모델의 성능을 측정하는 더 나은 방법을 제시했습니다.

사진 크레디트: Metamorworks/Getty Images

“제너레이티브 AI 모델은 기본적으로 일부 데이터를 보고 해당 데이터를 더 많이 생성하려고 시도하는 방법입니다. USC 정보 과학 연구소(ISI)의 컴퓨터 과학자인 Mahyar Khayatkhoei는 이렇게 말했습니다.

지난 7월 23일부터 29일까지 하와이주 호놀룰루에서 열린 제40회 기계학습에 관한 국제회의(ICML '23)에서 ISI의 VIMAL(Visual Intelligence and Multimedia Analytics Laboratory) 연구그룹에 소속된 Khayatkhoei가 다음과 같은 최신 논문을 발표했습니다. 생성 모델의 성능.

Khayatkhoei는 “성능은 일반적으로 사람들이 자세히 살펴보는 것이 아닙니다. 그들은 존재하는 벤치마크에 의존하고 더 나은 모델을 만들려고 노력하지만 이러한 모델이 실제로 더 나은지 여부가 항상 명확하지는 않습니다. 그래서 '더 나은 것'이 무엇을 뜻하는지 자세히 살펴보고, '더 나은 것'을 측정하는 방식이 정확한지 여부는 매우 귀중한 것이라고 생각합니다.”

이 논문은 VIMAL 창립 이사인 Wael AbdAlmageed, USC Viterbi의 Ming Hsieh 전기 및 컴퓨터 공학과 연구 부교수이자 ISI의 연구 이사가 공동 집필했습니다. AbdAlmageed는 논문에 대해 “제너레이티브 AI는 대체로 이해가 부족한 블랙박스입니다. ChatGPT와 LLM(대형 언어 모델)에 대한 과장된 광고 속에서 누군가는 성능을 더 잘 특성화하기 위해 속도를 늦추고 이러한 모델의 동작을 연구해야 했습니다."

과학자들이 이미지의 일부를 갖고 있을 때 블랙홀 이미지를 생성하는 데 생성 모델이 사용되었으며, 해당 부분이 주어지면 모델이 나머지 부분을 구축할 수 있었습니다. 그러나 생성 모델은 블랙홀보다 더 가까이 다가왔습니다. Khayatkhoei는 “이들은 많은 응용 분야에서 사용되고 있습니다. 예를 들어 의료 스캔에서 암성 종양을 감지하거나 사진에서 사람의 얼굴을 감지하는 등 다양한 이미지 기반 감지 방법은 파이프라인에서 특정 유형의 생성 AI를 사용하여 정확도를 향상시킵니다. 신약 발견, 역학 예측, 물리학 시뮬레이션에 생성 AI를 직접 사용하는 사례도 있습니다.”

Khayatkhoei는 그 방법을 다음과 같이 설명했습니다. "우리는 원하는 만큼 많은 데이터에 액세스할 수 없는 경우가 많기 때문에 신경망을 훈련하는 관찰 수를 늘리는 방법으로 생성 모델을 사용합니다." 신경망은 데이터 세트의 관계를 식별하는 AI에 사용되는 컴퓨팅 모델입니다.

예: 암성 종양을 감지하는 애플리케이션을 원하는 경우 신경망은 매우 큰 종양 데이터 세트에 대해 훈련되어야 하며 생성 모델은 이러한 데이터 세트를 생성할 수 있습니다. 생성된 데이터 세트의 품질은 충실도와 다양성으로 설명됩니다.

Khayatkhoei는 인간 얼굴 생성의 예를 사용하여 이러한 속성을 설명합니다. “생성 모델을 사용하여 우리는 몇 가지 관찰을 통해 데이터 분포를 배우려고 노력합니다. 따라서 모델은 제한된 수의 사람 얼굴을 보고 무한한 수의 사람 얼굴을 생성하려고 시도할 수 있습니다. 'Fidelity'는 이미지가 얼마나 사실적인지를 설명합니다. 그리고 그 세대가 얼마나 '다양성'을 가지고 있는지에 대한 질문이 있습니다. 모델이 같은 얼굴을 생성하고 있나요? 다양한 모양과 색상, 배경 등의 얼굴을 생성하는 건가요?”

생성 모델의 성능을 측정하는 표준 방법은 각각 "정밀도"와 "재현율"이라는 측정항목을 사용하여 충실도와 다양성을 정량화하는 것입니다.

논문에서 Khayatkhoei는 이론적으로 정밀도와 재현율에 결함이 있음을 보여줍니다. “사람들은 이러한 측정을 사용하여 더 나은 모델을 만들거나 응용 프로그램에 사용할 모델을 결정합니다. 이러한 측정에 결함이 있다는 것은 이러한 모든 결정에도 잠재적으로 결함이 있다는 것을 의미합니다.”라고 Khayatkhoei는 말했습니다.

Khayatkhoei는 이 문제에 어떻게 접근했는지 설명했습니다. “우리는 이 문제가 존재한다는 것을 보여주기 위해 실험을 만들었고, 일부 가정 하에서 이것이 실제로 매우 일반적인 문제라는 것을 수학적으로 증명했습니다. 그런 다음 수학적 분석의 통찰력을 바탕으로 문제를 완화하는 이러한 측정항목을 계산하기 위한 수정된 버전을 만들었습니다."