baehyunsol
baehyunsol
@eboatwright It's not on.
@buxx are you using Windows? I'm using Ubuntu 21.10 with LeftWM
Also having the similar issue. When pressing Ctrl+C for a while, I get an error like below. ``` Error: nu::shell::variable_not_found × Variable not found ╭─[/home/baehyunsol/.config/nushell/env.nu:23:1] 23 │ 24 │ $path_segment...
`밯`으로 문자를 받을 때 문자 여러개가 들어오면 첫번째 문자만 입력받나요? 보통은 그렇게 구현하는 것 같은데 표준에는 안 나와있어서 질문드립니다. ex: 입력으로 '가나다'가 들어오면 스택에 44032, 45208, 45796 이렇게 3개의 숫자가...
그렇네요 한번에 하나씩 받는다고 해석하는게 더 자연스러워 보이네요. 그래도 혹시 모를 헷갈림을 방지하기 위해서 표준에 `문자 하나`라고 적는 것도 괜찮을 것 같습니다.
혹시 한번만 다시 정리를 부탁드려도 될까요? ``` 우우우우우 우우우우우 우우우우우 헿 아아아아아아유 ``` 저 코드에서 `유`를 밟은 다음에 어디로 가고, 어떤 속도를 유지해야 하나요? 제 구현체는 avis의 구현을 따라서 첫번째...
Let me train a very simple model with and without the normalization, and compare their performances. EDIT: It seems like I've misread the paper and your implementation is correct. But...
I did a very simple experiment. I trained 2 models, one with `k * q^t` (original femtoGPT), and another with `q * k^t`. I used [this](https://github.com/baehyunsol/femtoGPT/blob/16c50f3f0439c416d711d36d9861553bb4e0e0d3/dummy_data/simple_sequence2.py) code to generate a...
I did another experiment. 1. I fixed `k * q^t` to `q * k^t`. I'll call it *new version of femtoGPT*. 2. I have many checkpoints that are trained with...
There's no `AsciiTokenizer` in femtoGPT (at least not in this branch). If you mean `ByteTokenizer`, You have to import the tokenizer. Add `use femto_gpt::tokenizer::ByteTokenizer;`.