🔗 출처:https://akiba-pc.watch.impress.co.jp/docs/topic/special/2005307.html
PC 저장 장치의 성능이 향상됨에 따라 PCIe 5.0 시대의 SSD 속도는 15GB/s에 육박했습니다.그러나 많은 사람들은 이러한 고속 성능이 Windows 탐색기에서 거의 작동하지 않는다는 것을 모를 수 있습니다.내장형 SSD가 아무리 빨라도 리소스 관리자에서 파일을 복사할 때 몇 GB/s의 속도만 얻을 수 있어 병목 현상을 돌파하기 어려운 경우가 많습니다.
벤치마크 테스트에서 사양에 맞는 성능을 볼 수 있지만 이는 테스트 환경에서의 결과일 뿐입니다.실제 리소스 매니저를 사용하여 파일을 조작할 때 속도가 이론값보다 훨씬 낮아 고속 스토리지 디바이스의 성능이 제대로 활용되지 못하는'낭비'가 됩니다.
이러한 상황은 기존 PCIe 4.0 및 PCIe 5.0 장치뿐만 아니라 RAID 카드를 사용하여 여러 개의 SSD를 연결하여 속도를 높이거나 Thunderbolt 5를 통해 외부 SSD를 연결하더라도 여전히 문제가 있습니다.앞으로 더 빠른 사양이 나오더라도 Windows 탐색기가 병목 현상으로 남아 있는 한 이 문제는 해결할 수 없습니다.스토리지 디바이스의 성능이 향상됨에 따라 사용자의 기대와 실제 경험 간의 차이는 더욱 커질 것이며, 이러한 영향은 더욱 뚜렷해질 것입니다.
FastCopy Research Institute LLC 이사 겸 CEO Hiroaki Shiramizu, ITG Marketing에서 인터뷰
FastCopy 의 탄생 배경
바로 이런 현황이"FastCopy"의 개발자 백수계장씨를 불만스럽게 했다.그는 고유한 설계 개념을 통해 신뢰성이 높은 파일 복사 및 백업 기능과 함께 스토리지 디바이스의 성능을 극대화할 수 있는 도구를 개발했습니다.
2024년 11월'인터 BEE 2024'전시회에서 삼성 부스에는 약 59GB/s 순차 읽기 속도를 낼 수 있는 기기가 전시돼 경탄을 자아냈다.당시 이 기계는 8K 동영상 편집의 유창성을 보여주는 데 주로 사용됐지만 백수씨는 저장장치의 고속 성능이 편집 과정을 더욱 유창하게 만든다고 해도 소재 데이터와 최종 데이터의 전송 (복제 과정) 이 동시에 향상되지 않으면 전체 효율은 여전히 제대로 향상되지 않는다고 지적했다.리소스 매니저에서 데이터를 전송할 때 스토리지 디바이스의 이론적 성능보다 속도가 훨씬 낮기 때문입니다.
Inter BEE 2024에 출품된 Lenovo ThinkStation P8 맞춤형 모델
이때 기록된 연속 읽기 속도는 거의 59GB/s에 달했습니다.
FastCopy는 이 시나리오에서 중요한 역할을 합니다.전시회 시연에서는 패스트 Copy를 이용한 고속 파일 전송이 삼성 데이터센터급 SSD를 탑재한 하이포인트 외장 하드디스크 카트리지'로켓 스토리 6542AW'와 상기 레노버 씽크스테이션 P8 간 데이터 전송을 통해 탁월한 성능을 보여줬다.
Inter BEE 2024에 전시된 CDFP 연결 외장 캐비닛'RocketStor 6542AW'
기준 순차 읽기 속도: 약 27GB/s
FastCopy를 사용하여 파일을 복사하는 속도는 약 14.5GB/s로 상당히 빠릅니다.
FastCopy는 Windows 시스템에서 지정된 파일 또는 폴더를 대상 위치로 복사 (또는 삭제) 하는 데 사용되는 도구입니다.개인 사용은 완전히 무료이며 상용 기능이 있는'Pro 버전'은 유료로 구매해야 한다.FastCopy는 비디오 제작 분야에서 널리 사용되었을 뿐만 아니라 국내외 많은 대기업과 정부 기관에서도 사용되고 있으며,"세계적으로 인정받는"소프트웨어입니다.바이수이 씨는 Windows 95 시대에 출시한 LAN 내 메시징 소프트웨어'IP Messenger'도 개발한 바 있으며 많은 사용자들도 사용했을 것으로 보인다.
FastCopy는 간단한 복제 기능뿐만 아니라 Pro 버전에서 해시 값을 생성하여 데이터를 비교하고 파일이 올바르게 복제되었는지 확인하여 데이터 전송의 신뢰성을 향상시킵니다.
FastCopy는 Windows XP 시대부터 존재했습니다.당시 백수씨는 자원관리자가 하드디스크의 성능을 충분히 발휘하지 못하고 백업 등 조작에 많은 불편이 존재한다는 것을 발견했다.바로 이런 문제에 대한 불만으로"성능을 충분히 발휘하여 무압력백업을 실현"하는것을 동력으로 하여 FastCopy 개발을 시작하였다.
Windows 탐색기를 사용하여 7GB/s급 PCIe 4.0 SSD에서 파일을 복사하려고 할 때 속도가 2.5GB/s 정도였습니다.
이는 읽기 및 쓰기 속도가 5GB/s 이상인 SSD 2개를 사용하여 Windows 탐색기에서 데이터를 복제할 때의 속도이지만 속도는 2.5GB/s 정도에 불과합니다.
FastCopy 가 고속 파일 복제를 수행하는 이유는 무엇입니까?
백수 씨는 Windows 탐색기가 파일 복제를 처리할 때 속도가 느린 이유는 여러 가지일 수 있다고 지적했다.내부 처리 메커니즘을 완전히 확인할 수는 없지만 파일 복제 과정에서 읽기 및 쓰기 작업이 효율적으로 병렬적으로 수행되지 않는 것으로 보입니다.예를 들어, Windows XP 시대의 리소스 관리자에서는 한 작업이 완료된 후에 다른 작업이 시작되며, 심지어 대규모 데이터 복제 시에는 운영 체제 파일 캐시가 오히려 추가 오버헤드가 됩니다.Windows Vista부터 병렬 처리 메커니즘이 도입되었지만 현재 리소스 매니저는 직접 I/O (운영 체제 캐시 메커니즘을 우회하는 처리 방식) 를 사용하지 않고 비동기 I/O 작업의 시작 수가 부족하기 때문에 여전히 속도 이점을 충분히 발휘하지 못하고 있습니다.
Explorer에서 비동기식 I/O 작업을 거의 수행하지 않는 것으로 보입니다.
이러한 관찰을 바탕으로 백수 씨는"읽기와 쓰기 작업을 위해 각각 전용 스레드를 설정하고 버퍼 용량을 늘린다"는 설계 이념을 제시하여 FastCopy를 열었다.약 반년 동안 개발된 FastCopy는 2004년에 정식으로 출시되었으며 이후 릴리즈에서 최적화되어 비동기식 I/O 처리 및 직접 I/O 작업 등의 기능을 추가했습니다.
또한 FastCopy는 하드 드라이브의 탐색 시간을 고려하여 데이터를 가장 짧은 위치로 쓸 수 있도록 최적화 알고리즘을 설계했습니다.또한 각 드라이브 간, 동일한 드라이브 간 또는 HDD와 SSD 간 등의 상황에 따라 다양한 복제 정책을 적용하여 최적의 성능을 제공합니다.NVMe SSD의 경우 최대 큐 (작업 시작을 처리함) 수가 높기 때문에 FastCopy도 성능을 최대화하기 위해 최적화 설계를 수행합니다.특히 많은 큐가 HDD에 문제를 일으킬 수 있지만 Windows 시스템에서는 애플리케이션이 스토리지가 SSD인지 HDD인지 인식할 수 있으므로 FastCopy는 대상 스토리지의 유형에 따라 운영 정책을 조정할 수 있습니다.이에 비해 리소스 매니저는 이러한 기술을 충분히 활용하지 못하는 것으로 보입니다.
삼성과 협력하여 한층 더 고속화하다
FastCopy의 최신 버전은 2025 년 1 월에 출시 된 v5.8.1이지만 백수 씨는 현재 공개되지 않은 v6.0.0 버전을 개발하고 있습니다.이 버전의 개발은 시라미즈 씨가 소셜미디어에서'Inter BEE 2024'전시회에서 FastCopy의 시연을 언급하며"속도를 더 높일 가능성이 있다"고 밝히면서 시작됐다.그 후 삼성, 대리점 ITG 마케팅 및 ASK는 테스트 장비 및 기술 지원을 적극적으로 제안했다.
테스트 장비인 "Lenovo ThinkStation P8" 맞춤형 모델
테스트 장치에는 사용자 정의"Lenovo ThinkStation P8"컴퓨터가 포함되어 있습니다.전시회 프레젠테이션에서 FastCopy를 사용하여 외장 하드 드라이브 카트리지의 약 20GB 파일을 복사할 때 평균 전송 속도는 약 14.5GB/s로 리소스 매니저보다 훨씬 빠르지만 벤치마크 테스트 소프트웨어에 표시된 읽기 속도는 약 27GB/s이고 쓰기 속도는 약 24GB/s보다 낮습니다.
백수씨는 저장장치의 성능이 충분히 발휘되지 못한 원인을 찾기 위해 이'Lenovo ThinkStation P8'을 이용해 심도 있는 테스트를 진행했다.AMD Threadripper Pro 7975WX 프로세서와 삼성 990 PRO SSD 8개를 장착한 이 컴퓨터는 하이포인트의 RAID 카드인'R7608A'로 연결돼 최고의 사양이라고 할 수 있다.
HighPoint RAID 카드 "R7608A"
SSD 및 RAID 컨트롤러를 냉각하는 대형 히트싱크
설치된 SSD는 990 PRO 2TB x 8
테스트 결과에 따르면 수십 GB/s의 초고속 I/O 환경에서 운영 체제 내부의 동기화 처리 과정은 데이터의 비동기식 읽기 및 쓰기 작업 자체가 아니라 병목 현상이 되었습니다.CPU 코어가 완전히 점용되어 비동기식 I/O 작업을 더 이상 시작할 수 없습니다.따라서 HighPoint RAID 카드 환경에서는 단일 CPU 코어의 전송 속도가 약 28GB/s에 불과하지만 일반적인 Windows RAID 0(스트라이프 볼륨) 환경에서는 약 13GB/s에 불과합니다.
이 문제를 해결하기 위해 백수 씨는"I/O 처리에 특화된 스레드 풀"을 도입하여 이 스레드 풀에서 동시에 여러 개의 읽기와 쓰기를 위한 비동기 명령을 시작할 수 있도록 했다.또한 명령의 시작 순서에 관계없이 스레드가 I/O 처리를 완료하면 다음 I/O 작업을 즉시 시작하는 메커니즘을 구현했습니다.
결국 FastCopy의 핵심 부분은 기본 라이브러리에 대한 수정을 포함하여 거의 완전히 다시 작성되었습니다.큰 변화에도 불구하고 백수 씨는 속도 병목 현상을 대략 찾았기 때문에 약 35일 만에 이 버전을 완성했다.
테스트 장치에서는 읽기 및 쓰기 속도가 최고 수준에 도달할 수 있도록 두 개의 RAID 카드를 사용하여 테스트했습니다.핫 스로틀이 발생하지 않는 한 파일 복사 속도는 벤치마크 소프트웨어 기록의 읽기 속도인 59GB/s와 쓰기 속도인 53GB/s에 근접하여 장치의 거의 극한 성능에 도달할 수 있습니다.
FastCopy 업그레이드를 사용하면 50GB/s 이상의 속도로 파일을 복사할 수 있습니다.TransRate 섹션의 52154 뒤에 괄호 안에 있는 숫자(109977)는 총 읽기 및 쓰기 속도입니다.
Windows 작업 관리자에서 55GB/s 이상의 데이터 전송 속도를 확인합니다.
FastCopy의 향상된 기능으로 파일 복제 속도가 50GB/s를 초과할 수 있습니다.작업 관리자에서도 55GB/s 이상의 데이터 전송 속도를 볼 수 있습니다.
백수씨는"그동안 내가 사용했던 장비 속도가 20GB/s 정도밖에 되지 않아 초고속 I/O 처리에 이런 문제가 있을 수 있다는 것을 깨닫지 못했다.그러나 사용자 장치의 속도가 계속 향상됨에 따라 이런 상황은 조만간 발생할 것이다.장비의 잠재력을 발굴하기 위한 이번 시도는 매우 의미가 있다"고 말했다.
다음 속도 병목 현상: 90~100GB/s
FastCopy v6.0.0이 출시되려면 시간이 더 걸리지만 새로운 속도 병목 현상이 발생했습니다.현재 테스트 버전의 기술을 사용하더라도 전송 속도의 상한선은 곧 도달할 것이다.
다음 속도 장애는 100GB/s 정도이며 CPU와 메모리 성능에도 큰 영향을 미칠 것으로 예상됩니다.
그 이유 중 하나는 메모리 대역폭의 제한입니다.파일 데이터를 복제하는 동안 메모리는 읽기와 쓰기를 동시에 수행해야 합니다.예를 들어, 스토리지 디바이스의 전송 속도가 70~85GB/s에 도달하려면 메모리 대역폭이 140~170GB/s의 두 배가 필요합니다.이론적으로는 Ryzen Threadripper 또는 Xeon 플랫폼을 통해 이러한 메모리 대역폭을 구현할 수 있지만 실제 측정에서는 이를 달성하기 어렵습니다.
또한 하드웨어 업그레이드를 통해 메모리 대역폭 문제가 해결되더라도 또 다른 문제는"대기열 발기를 담당하는 스레드가 병렬화되기 어려워 50GB/s 정도일 때 CPU 코어 한 개의 점유율이 50~60% 에 이른다.90~100GB/s에 도달하면 CPU 코어의 점유율이 100% 에 달해 속도를 더 높일 수 없다"고 말했다.
백수 씨는 분산 처리 등을 통해 알고리즘 부분의 상한선을 돌파하는 방안을 고려하고 있다고 밝혔다.그러나 복제 프로세스에서 유효성 검사를 동시에 활성화할 경우 처리 시간이 크게 늘어난다는 또 다른 문제가 대두되고 있습니다.
FastCopy가 사용하는'xxHash'해시 알고리즘은 이미 매우 빠르지만 대용량 데이터를 처리할 때 속도 상한선은 약 14GB/s이다.그래서 그는 이미 해시 계산 부분을 병렬 처리로 바꾸기 시작했다.
검증 프로세스를 추가하면 신뢰성이 향상되지만 현재 병목 현상은 해시 값을 계산하는 데 걸리는 시간입니다.
"우리는 해시 트리 병렬 계산을 통해 약 130GB/s의 속도를 달성할 수 있다는 것을 확인했다.그러나 복제 소스와 타겟에 대한 데이터 처리와 해시 계산을 동시에 수행하여 각 처리 속도가 50GB/s에 도달하면 총 200GB/s의 메모리 대역폭이 필요합니다.이 요구 사항을 충족하는 하드웨어 장벽은 매우 높을 것입니다."라고 백수씨가 말했다.
현재 DDR5-6400 메모리 대역폭은 50GB/s(단일 채널의 경우)보다 약간 높으며, DDR5-4800 메모리 슬롯이 8개인 테스터 ThinkStation P8도 실제 측정된 메모리 대역폭은 190GB/s에 불과하다.따라서 간단한 파일 읽기 및 쓰기 작업조차도"최선을 다하려면"일반 소비자용 하드웨어에 있어서 매우"어려운"임무입니다.
일반 스토리지에서 FastCopy 의 이점
수십 GB/s 또는 수백 GB/s의 고속 전송에 대해 논의했지만 실제로 일반 사용자가 접근할 수 있는 하드웨어조차도 리소스 매니저의 복제 속도가 병목 현상이 되었습니다.
인터뷰 당일 준비한 ASUS ProArt 부품으로 구축한 프리미엄 데스크탑 PC(CPU: Core Ultra 7 265K/마더보드: ASUS ProArt Z890-CREATOR WIFI)를 이용한다.
PC에 내장된 SSD는 삼성 9100 PRO다.
Thunderbolt 5 케이스를 준비하고 속도를 측정했습니다.
케이스 990 PRO
인터뷰 당일에는 ASUS ProArt의 구성 요소로 조립된 프리미엄 데스크톱 컴퓨터(CPU: Core Ultra 7 265K/마더보드: ASUS ProArt Z890-CREATOR WIFI)를 테스트했다.컴퓨터에 내장된 SSD는 삼성 9100 PRO, Thunderbolt 5로 연결된 외장 SSD는 990 PRO다.
테스트에서 이 두 스토리지 디바이스 간의 파일 전송 속도는 이론적으로 80Gbps (약 10GB/s) 여야 하지만 리소스 매니저를 사용하여 전송할 때 실제 속도는 2GB/s 에도 미치지 못합니다.
그러나 FastCopy를 사용하여 전송할 경우 6GB/s 이상의 속도를 낼 수 있으며 처리 시간은 리소스 매니저의 1/3에 불과합니다.이러한 효율 차이는 명백하다.FastCopy는 대규모 데이터 전송 또는 정기적인 백업을 처리할 때 특히 유용하며 적극적으로 사용할 가치가 있습니다.
벤치마크가 6GB/s를 초과했습니다.
리소스 매니저를 사용하여 데이터를 복제할 때 실측 속도가 2GB/s 미만입니다.
FastCopy를 사용하면 기본 속도에 근접한 6GB/s 이상의 속도로 복제할 수 있습니다.
Windows 작업 관리자에서 6GB/s 이상의 속도를 확인했습니다.
작업 관리자에서도 FastCopy를 사용할 때 데이터 전송 속도가 6GB/s를 초과하는 것을 볼 수 있습니다.
Windows XP 시대 이후 리소스 매니저의 복제 기능이 개선되었지만 실제 테스트 결과를 보면 고속 장치에 대한 최적화는 여전히 턱없이 부족합니다.백수 씨는 개선을 도울 수 있다면 마이크로소프트에 FastCopy의 기술 지원을 제공하겠다고 밝혔다.FastCopy의 향후 발전이 기대됩니다.
FastCopy 의 고속 성능 경험
2025년 4월 12일(토)과 4월 13일(일) 아키하바라 UDX의'ASK ★ FES 2025'행사에서 ITG 마케팅 부스에는 뛰어난 성능을 현장에서 체험할 수 있는 패스트 Copy의 고속 파일 전송 시연기가 전시돼 관람을 환영한다.
게시일 2025-04-29
广东
FastCopy Pro Windows 파일 복사 백업 제거 소프트웨어
