루머대로 최초의 2M 을 달성하면, 정말 대단한 일이 될 듯. 정확도 95% 이상 달성점이 최소 512K에서 1M 사이가 된다는 말이라, 명목 2배 그 이상의 컨텍스트 유지력을 가지게 된다는 말임. 강하게 하네스를

Serio의 X 스레드

Serio가 @Multi_Serio_Ai에 게시한 원문 타래를 보존한 글입니다. X 원문 타래

1. 1
   루머대로 최초의 2M 을 달성하면, 정말 대단한 일이 될 듯. 정확도 95% 이상 달성점이 최소 512K에서 1M 사이가 된다는 말이라, 명목 2배 그 이상의 컨텍스트 유지력을 가지게 된다는 말임. 강하게 하네스를 옥죄지 않아도 인지 통제가 강화된다는 말이라 창의성을 유지한 채 강력해질 수 있음.
   원문 보기
2. 2

   다만, 계속 공개가 미뤄진다는 건

   • 2M 을 장착해서 얻은 성능이 높지 않거나
   • 1M의 한계를 파악하고 컨텍스트를 늘리고 다양한 추가 작업들을 하고 있기 때문이지 않을까 추정

   페이블이 감금되 있는 상황에서 준 페이블 아니 그 이상급 결과물을 달성한다면 시장의 판도를 뒤집을 수도.

   원문 보기
3. 3

   Ai 프론티어는 발전 속도도 미쳐 있지만 한 치 앞을 알 수가 없다.

   3년 전에는 학습 기억 자체의 용량이 너무나도 작았고, 2년 전 SOTA Ai가 활용 가능한 컨텍스트 크기가 64K 라는 것을 이제는 상상이나 할 수 있을까.

   이제는 로컬에서도 256K가 기본적인데.

   Gpt-oss-120b 공개가 1년도 안 지났음.

   원문 보기