Joon Kwon

icon indicating a website link https://ggoggam.github.io

icon company Lunit Oncology icon location Anywhere on Earth icon location :(){ :|: &};:

Results 4 comments of Joon Kwon

문제도 만들어볼 수 있을까요?

영어 문제도 내줄 수 있어?

문제도 만들어볼 수 있을까요?

좀 문제가 많이 쉬운 것 같아. 좀 더 어려운 수학 문제도 가능할까?

문제도 만들어볼 수 있을까요?

수학을 공부할만한 좋은 사이트를 알려줄 수 있어?

Weird logits and model starts degeneration while training DPO

This seems to be a problem with DeepSpeed ZeRO 3. If I use FSDP, everything works fine. I tried using torch's AdamW instead of DS FusedAdam, the problem persists.