안녕하세요.

Replication 구조에 Innodb를 사용하다가 MySQL Cluster로 변경하려고 하는 데 여러가지 어려움이 있어서 질문드립니다.

 

1. 메모리

  - DataMemory = 30720M, IndexMemory = 8192M 로 설정해서 data node를 올렸습니다.

    처음 실행 후에 메모리 사용량을 보면 약 40GB를 사용하고 있었습니다.

    Data를 insert를 하면서 메모리 사용량이 40GB 이상으로 점점 증가를 하는 것을 봤습니다.

    미리 설정해둔 40GB 내에서 데이터를 insert해서 사용하는게 아닌가요?

    Linux환경에서 top 명령어로 확인 했을 때, 아래와 같습니다.

   

    Mem:  74122180k total, 59916920k used, 14205260k free,   310132k buffers
    PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+   COMMAND
    15   0    37.9g 36g   3408 R  25.5    51.9        85:17.01 ndbd

   

    Data양이 늘어나면서 mysql이 아닌 시스템에서 사용하는 메모리가 늘어나서 그런건가요..?

 

2. Dump를 이용해 insert할 때 속도

  - mysqldump를 이용해 스키마, 데이터 따로 dump를 뜬 후에, 데이터를 복구하고 있습니다.

    "mysql -uroot database < data.sql" 이렇게 해서 데이터를 insert하고 있는 데요,

    Data node의 insert 속도가 1시간이 지나고 나면 1/4 로 떨어집니다. 두번 시도를 했지만 동일한 문제가 생겼습니다.

    SQL node와 data node가 다른 머신에 설치 되어 있어서 네트워크 문제인가도 확인해봤지만 네트워크 상에 문제는 없었습니다.

    Data 양이 많아지면서 insert속도가 느려진건가요? 아니면 다른 무슨 이유가 있는 지 궁금합니다.

    다른 방법으로 데이터를 빠르게 복구하는 방법은 없나요?

 

데이터 양이 60GB정도되고, 구성은 M(1),SQL(3),Data(6)로 데이터 노드 하나당 메모리는 74G 입니다.

읽어 주셔서 감사합니다.. 답변 기다리고 있겠습니다:)