목록2025/11/18 (1)
우당탕탕 개발일지
대용량 데이터 처리 고민해보기
내가 처음에 생각한거!API호출해서 각 가맹점 정보 DTO 넣고 Entity로 변환해서 바로 저장한다고 생각함... [조언] > 한번에 모든 데이터를 가져오는 경우 대비OPEN API를 통해 JSON 받기 > 가맹점의 개수를 지정하기 위해서는 테스트 필요받은 JSON를 파일로 저장스케쥴러를 통해서 JSON 파일의 가맹점 데이터를 DB에 저장100개JSON파일 (10개씩 가맹점)JSON파일 10개각 JSON 파일 데이터 저장하는 쓰레드가 10개 각 쓰레드가 동시에 할지, 순차적으로 할지는 고민할 문제 이렇게 나누는 이유는 지금은 데이터양이 적지만, 많아졌을 경우 메모리 확보와 성능를 위해!어쨋든! 대용량 데이터 처리를 위해 이렇게 효율적으로 데이터를 저장하는 방식을 고민해봐야 한다. https:..
비트캠프/프로젝트
2025. 11. 18. 23:18