ChatGPT 초장기 대화 로딩 속도 94% 향상: 741회 대화가 28초에서 2초로 단축

동차 Beating 모니터링에 따르면, OpenAI는 ChatGPT와 Codex의 초장기 대화 경험을 최적화할 준비를 하고 있으며, 다음 주에 출시될 예정입니다. 내부 테스트에서 741라운드, 231MB의 거대한 채팅을 처리한 후, 평균 로딩 시간이 27.62초에서 1.66초로 단축되어 로딩 속도가 약 94% 향상되었습니다.

이번 최적화는 주로 채팅 기록 로딩에 초점을 맞추고 있으며, 모델 응답 속도 개선은 아닙니다. 테스트에서 로드해야 할 대화 항목이 15,529개에서 64개로 줄었고, 요청 횟수는 894회에서 16회로 감소했으며, 전체 앱의 메모리 증가도 41.2% 줄었습니다.

ChatGPT나 Codex를 장기간 사용하는 사용자에게 이는 오래된 대화를 열 때의 대기 시간을 크게 줄여줍니다. 과거에는 초장기 스레드가 길어질수록 점점 버벅거리는 주된 이유가 클라이언트가 많은 양의 과거 메시지를 처리해야 했기 때문입니다. 이번에 OpenAI는 로드해야 할 데이터 양을 직접 줄였습니다.