HyeAnn

I think n=2 should has value 1 instead of 1/2.

In fifth line, H(ej(½)π) rather than H(ej(½)πn), so that corrected equation is y1[x] = H(ej0)ej0n + H(ej(½)π)ej(½)πn.

https://github.com/CUN-bjy/rl-paper-review/blob/e83833676b46e56ea680d23fb314d79031e09da5/reviews/TD3.md?plain=1#L191 - Sutton & Barto, 1998 * 논문이 아니고 책입니다^^ 강화학습의 교과서라고 불리지요ㅎㅎ 2018년엔 2쇄본이 나왔습니다 (https://a.co/d/fv54CBn)

https://github.com/CUN-bjy/rl-paper-review/blob/e83833676b46e56ea680d23fb314d79031e09da5/reviews/TD3.md?plain=1#L97-L103 - 97줄: 논문에 "the approximate value of π_approx will be bounded below by the approximate value of π_true"라고 되어있으므로 해석을 "크거나 같다"라고 해야 할 것 같습니다. 그래야 식의 의미와도...

https://github.com/seungeunrho/RLfrombasics/blob/8062dcd3dfd6c4e22ec0091259c277e7f1472c76/ch9_ActorCritic.py#L76-L77 현재의 코드에 따르면 step은 10틱 단위로 연속해서 행해지고 그 데이터를 모아서 model을 업데이트하는데, 10틱이 진행되는 중간에 negative done이 일어났다가 다시 정상 궤도로 돌아온다면 문제가 생기지 않을까요? https://www.gymlibrary.dev/environments/classic_control/cart_pole/#episode-end 예를 들어,...

https://github.com/seungeunrho/RLfrombasics/blob/8062dcd3dfd6c4e22ec0091259c277e7f1472c76/ch8_DQN.py#L93-L95 https://github.com/seungeunrho/RLfrombasics/blob/8062dcd3dfd6c4e22ec0091259c277e7f1472c76/ch8_DQN.py#L101-L102 1. (suggestion) L101-L102의 삭제 - `while not done:` 안의 `if done: break`은 불필요합니다. 2. (bug) L93의 수정 - 95줄이 `s_prime, r, done, truncated, info = env.step(a)`으로 바뀐 이상,...

141쪽에 해당하는 `MCControl.py`에서는 `self.alpha=0.01`을 정의하고 `update_table()`에서 `self.alpha`를 사용하고 있지만, 146쪽에 해당하는 `SARSA.py`와 158쪽에 해당하는 `QLearning.py`에서는 `self.alpha`의 사용 없이 `update_table()`에서 바로 0.1을 사용하고 있습니다. 표현을 하나로 통일한다면 셋의 비교가 조금 더...

https://github.com/seungeunrho/RLfrombasics/blob/8062dcd3dfd6c4e22ec0091259c277e7f1472c76/ch6_QLearning.py#L91 158쪽의 코드에서는 없는 내용이고 실제로도 Q learning에서는 사용되지 않는 부분이지만, SARSA 코드에서 잘못 가져와진 line인 것 같습니다. 삭제하는 것이 어떨까 건의 드려봅니다.

Issue #688