[20230129] Weekly AI ArXiv 만담 시즌2 - 3회차

[jungwoo-ha]

News

• ICML 2023 deadline 완료: 모두들 수고 많으셨습니다. 같이 가자 하와이!
• CVPR 2022 review out: 모두들 파이팅 입니다
• 쏟아지는 ChatGPT와 관련된 최근 소식 요약 by 바이라인네트워크
• MusicLM을 공개하지 않는 이유: 1% matching

ArXiv

• DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature

  • Stanford Univ. 에서 나온 GPT3 생성 문장 디텍팅 하는 방법 (Chris Manning & Chelsea Finn)
  • 입력문장 --> T5로 몇가지 표현 변경 여러개 --> Likelihood curvature 체크 --> 들쭉날쭉이면 사람 아니면 생성
  • davinci 급 모델이 아니어서 다소 아쉽긴 함 (likelihood를 찍어봐야하기 때문으로 보임)
  • 사람이 중간 수정을 하게 되면 디텍팅 정확도가 조금씩 감소함.
    
    
    

• MusicLM: Generating Music From Text

  • 논문은: https://arxiv.org/abs/2301.11325
  • Text Prompt 입력에 대하여 Music audio 생성하여 출력
  • 기본적으로 3가지 (SoundStream, w2v-BERT, MuLan) Pretrained 모델을 활용
  • Training 시에는 audio를 입력받아 MuLan token (audio) --> semantic token --> audio token
  • Inference 시에는 text prompt를 MuLan 입력으로 받아 동일한 과정 거쳐 audio token 만들어 SoundStream decoder로 음원생성
  • MusicCap 이란 데이터셋도 함께 공개
  • 저작권이나 표절관련 결과도 함께 (10초 프롬프트에 훈련데이터 정확하게 겹칠 확률은 0.1% 이내)
    
    

[veritas9872]

논문:
Sybil: A Validated Deep Learning Model to Predict Future Lung Cancer Risk From a Single Low-Dose Chest Computed Tomography

Paper: https://ascopubs.org/doi/10.1200/JCO.22.01345

MIT와 MGH에서 공동연구를 진행해 폐 결절의 악성도를 CT 영상에서 예측하는 모델을 만들어 최대 6년 후의 악성도 여부까지 예측한 논문이 Journal of Clinical Oncology (IF: 44.54) 게재되었습니다.

폐결절은 biopsy를 통해 악성 여부를 판단하기에 위험이 크기 때문에 CT 영상만으로 악성 여부를 판단하고자 하는 연구가 진행이 되고 있는데 기존 연구는 NLST 데이터셋을 기반으로 최대 2년까지만 예측을 할 수 있었던 반면에 해당 연구는 6년까지 예측을 했다는데 의의를 둘 수 있습니다.

데이터 준비 및 예시:

모델 구조:

연도별 malignancy (악성도) 예측에 대한 AUROC.

[nick-jhlee]

News

• AAAI 2023 (Washington DC, USA) 되신분들 잘 다녀오세요...!
• AISTATS 2023 (Valencia, Spain!) 되신 분들은 모두 축하드립니다!
• ICLR 2023 (Kigali, Rwanda!) 되신 분들도 축하드립니다!
• ICLR 2023 blog track: https://iclr.cc/Conferences/2023/CallForBlogPosts
• DeepMind Edmonton가 없어졌습니다 ㅠㅠㅠ (https://globalnews.ca/news/9433340/deepmind-closure-ai-edmonton/)
  • main focus: core RL, multi-agent learning
  • leaders: Richard Sutton, Patrick Pilarski, Michael Bowling

Papers

• Nearly Optimal Latent State Decoding in Block MDPs (AISTATS 2023)

  • KAIST AI, KTH EECS (제 논문임다)
  • TL;DR: block MDP에서의 강화학습에 대한 새로운 시각을 제시합니당
  • Facebook post, twitter thread

• 제 연구실에서 (제꺼 이외에도) 논문들이 많이 나왔습니다..! 많은 관심 부탁드려요 ㅎㅎ: http://osi.kaist.ac.kr/publications/

  • by venues: AAAIx3, AISTATSx2, ICLRx2, AAMASx1, Findings of EACLx1

• Learning-Rate-Free Learning by D-Adaptation

  • Meta AI, Samsung AI Center Cambridge
  • 제목 그대로, lr을 알아서 tuning하는 lr-free 최적화 알고리즘을 제안함!
    • no backtracking! no line searches!
  • 이론적으로 very strong (optimal for convex Lipschitz functions)
  • "Matches hand tuned rates for ImageNet R50, BERT, GPT, Faster RCNN, fastMRI, LSTM, DLRM, CIFAR10, CIFAR100"
  • Twitter thread
  • Github repository
    

• BioGPT: generative pre-trained transformer for biomedical text generation and mining (Briefings in Bioinformatics 2022)

  • Microsoft Research Beijing
  • BioGPT를 제안하여 biomedical task에서 SOTA를 찍음
    • "a domain-specific generative Transformer language model pre-trained on large-scale biomedical literature"
      

• A Watermark for Large Language Models (arXiv 2023)

  • University of Maryland (갓-Tom-Goldstein옹...)
  • 저자의 twitter thread
  • TL;DR 아주 간단한 blacklisting을 통해서 LLM의 generation을 watermarking 할 수 있음!
    
    
    

• Hungry Hungry Hippos: Towards Language Modeling with State Space Models (ICLR 2023 Spotlight)

  • Stanford University
  • Github repository (up to 2.7B param)
  • H3을 제안함: a new generative language models that outperforms GPT-Neo-2.7B with only 2 attention layers!
    • SSMs are linear in sequence length instead of quadratic, and have no fixed context length
    • Claims better perplexity, zero/few-shot generations and 1.6x speedup over transformers in some tasks
  • (이건 담에 시간되면 한번 읽어오겠슴다,,)

[dhlee347]

• Constitutional AI: Harmlessness from AI Feedback

  • 최근에 ChatGPT에 썼다고 해서 핫한 RLHF (LM의 응답들에 대한 사람의 선호도를 기반으로 언어모델 강화학습)
    

  • Human Feedback으로는 Human Performance를 넘을 수 없다?!

  • 사람은 LM이 따라야할 헌법(constitution)을 만들고, AI가 스스로 응답이 이것들을 따르는지 판단하여 AI Feedback 생성

  • 기존 RLHF에서 helpfulness 방향과 harmlessness 방향이 충돌나는 것을 방지

    • 위험한 응답을 회피하여 harmlessness을 획득하면 helpfulness가 떨어짐. 이를 방지하는 것이 가능
    • 이번 work에서는 harmlessness에 대해서만 적용 (helpfulness는 기존대로 Human Preference Feedback 활용)
      

  • (Supervised Stage) Critique → Revision → Supervised Learning

    • (사람이 미리 설정한) Critique Request와 Revision Request 원칙을 기반으로 자동으로 고쳐진 응답으로 재학습
    • critique-revision 과정 여러번 적용 (16 원칙에서 랜덤하게 추출한 원칙 적용)
    

  • (RL Stage) AI Comparison Evaluations → Preference Model → Reinforcement Learning

    • LM의 두 응답 사이의 선호도를 Multiple Choice 형태의 Prompt로 LM에 물어봄
    • (A), (B) 사이의 log prob 비교로 AI Feedback 제공
    • 경우에 따라 Chain-of-Thought Prompting을 사용하기도 함.
    

  • 결과
    
    
    

  • 토론

    • Human Performance를 넘긴다는 포부는 좋았으나, 아직은 보다 쉬운 harmlessness 쪽으로만 적용
    • 향후에 LM끼리 Self-play를 해서 Alpha-Zero처럼 사람의 개입없이 자동으로 성능이 향상되는 것이 가능할 것인가?

• RLHF 괴담?

  • RLHF merely mitigates the most frequent mistakes without actually fixing the problem (by Yann Lecun)
    • https://twitter.com/ylecun/status/1617254676428111872
  • How important is RL in learning from human feedback? Can we get the performance of RLHF with training on higher quality data in IFT or SFT? (by HuggingFace)
    • https://huggingface.co/blog/dialog-agents