🔗 Источник:https://akiba-pc.watch.impress.co.jp/docs/topic/special/2005307.html
По мере того, как производительность накопителей ПК продолжает улучшаться, скорость SSD в эпоху PCIe 5.0 приближается к 15 Гбит / с. Тем не менее, многие люди могут не знать, что эта высокоскоростная производительность едва ли может быть полностью реализована в диспетчере ресурсов Windows. Даже если встроенный SSD быстрее, при копировании файлов в диспетчере ресурсов скорость часто может достигать только нескольких Гб / с, что затрудняет преодоление узких мест.
Хотя производительность, соответствующая спецификациям, может быть замечена в базовом тесте, это только результат тестовой среды. При фактическом использовании диспетчера ресурсов для работы с файлами скорость намного ниже теоретических значений, что приводит к тому, что производительность высокоскоростного устройства хранения не может быть полностью использована и становится « расточительством».
Это происходит не только на существующих устройствах PCIe 4.0 и PCIe 5.0, но и при использовании карт RAID для подключения нескольких SSD для увеличения скорости или при подключении внешних SSD через Thunderbolt 5. Даже если в будущем появятся более быстрые спецификации, эта проблема не будет решена до тех пор, пока диспетчер ресурсов Windows останется узким местом. По мере того, как производительность устройств хранения данных улучшается, разрыв между ожиданиями пользователей и реальным опытом становится все больше и больше, и это влияние становится все более очевидным.
Г - н Хироаки Ширамизу, директор и главный исполнительный директор FastCopy Research Institute LLC, дал интервью ITG Marketing
История появления FastCopy
Именно эта ситуация вызвала недовольство у разработчика FastCopy г - на Сиракузы. Благодаря своей уникальной концепции дизайна он разработал инструменты, которые могут в полной мере использовать производительность устройств хранения данных, а также реализовать функции копирования и резервного копирования файлов высокой надежности.
В ноябре 2024 года на выставке Inter BEE 2024 на стенде Samsung была представлена потрясающая машина, способная достигать скорости чтения порядка 59 Гб / с. В то время машина в основном использовалась для демонстрации плавности редактирования 8K видео, но г - н Байшуй отметил, что даже если высокая производительность устройства хранения данных делает процесс редактирования более плавным, общая эффективность все равно не может быть действительно улучшена, если передача данных материала и конечных данных (процесс копирования) не могут быть синхронизированы. Потому что при передаче данных в диспетчере ресурсов скорость намного ниже теоретической производительности устройства хранения.
Модель Lenovo ThinkStation P8 на выставке Inter BEE 2024
В этот момент зафиксированная скорость непрерывного чтения достигла ошеломляющей почти 59 Гбит / с.
FastCopy играет важную роль в этом сценарии. Во время презентации на выставке FastCopy была использована для высокоскоростной передачи файлов, что продемонстрировало превосходную производительность при передаче данных между внешним жестким диском HighPoint « RocketStor6542AW » с SSD Samsung Data Center и вышеупомянутой Lenovo ThinkStation P8.
Внешний шкаф с подключением CDFP « RocketStor6542AW » на выставке Inter BEE 2024
Скорость чтения порядка 27 ГБ / с
Скорость копирования файлов с помощью FastCopy составляет около 14,5 Гб / с, что довольно быстро.
FastCopy - это инструмент для копирования (или удаления) указанного файла или папки в целевом месте в системе Windows. Индивидуальное использование полностью бесплатное, в то время как "Pro Edition" с коммерческими функциями требует платной покупки. FastCopy не только широко используется в производстве видео, но и используется во многих крупных компаниях и государственных учреждениях как внутри страны, так и за рубежом, и является « всемирно признанным» программным обеспечением. Г - н Уайт также разработал программное обеспечение для обмена сообщениями в локальной сети IP Messenger, которое было запущено в эпоху Windows 95 и, возможно, использовалось многими пользователями.
FastCopy не только обладает простой функцией копирования, но и его « Pro» версия также повышает надежность передачи данных, создавая хэш - значения для сравнения данных и проверки правильности копирования файлов.
FastCopy существует со времен Windows XP. В то время г - н Байшуй обнаружил, что менеджер ресурсов не может в полной мере использовать производительность жесткого диска и имеет много неудобств в таких операциях, как резервное копирование. Именно из - за недовольства этими проблемами он начал разработку FastCopy, мотивируя это « полной производительностью и реализацией резервного копирования без давления».
Когда я пытался скопировать файлы на SSD PCIe 4.0 уровня 7GB / s с помощью диспетчера ресурсов Windows, скорость составляла всего около 2,5 Гб / с.
Это скорость копирования данных в диспетчере ресурсов Windows с использованием двух SSD со скоростью чтения и записи более 5 Гбит / с, но только около 2,5 Гбит / с.
Почему FastCopy позволяет быстро копировать файлы?
Г - н Уайтуотер отметил, что причины, по которым диспетчер ресурсов Windows медленнее обрабатывает копирование файлов, могут быть различными. Хотя механизм внутренней обработки не может быть полностью определен, он заметил, что операции чтения и записи, похоже, не могут выполняться эффективно и параллельно во время копирования файлов. Например, в диспетчере ресурсов в эпоху Windows XP кэширование файлов операционной системы становится дополнительным расходом даже при массовом копировании данных, когда одна операция выполняется, а другая начинается. Несмотря на внедрение параллельных механизмов обработки, начиная с Windows Vista, нынешние диспетчеры ресурсов по - прежнему не могут в полной мере использовать преимущества скорости, главным образом из - за отсутствия прямого ввода / вывода (обработка в обход механизмов кэширования операционной системы) и недостаточного количества запусков асинхронных операций ввода / вывода.
Похоже, что асинхронные операции ввода / вывода редко выполняются в Explorer.
Основываясь на этих наблюдениях, г - н Байшуй предложил концепцию дизайна, которая « устанавливает специальные потоки для операций чтения и записи, соответственно, и увеличивает емкость буфера», что привело к разработке FastCopy. После примерно полугода разработки FastCopy был официально выпущен в 2004 году и постоянно оптимизирован в последующих версиях, добавив такие функции, как асинхронная обработка ввода / вывода и прямые операции ввода / вывода.
Кроме того, FastCopy учитывает время поиска на жестком диске и разрабатывает алгоритмы оптимизации для обеспечения того, чтобы данные записывались в кратчайшие сроки поиска. Он также использует различные стратегии копирования в зависимости от обстоятельств (например, между различными дисками, между одними и теми же дисками или между HDD и SSD) для достижения оптимальной производительности. Что касается NVMe SSD, то из - за более высокого потолка количества очередей (запуск задач обработки) FastCopy также была оптимизирована, чтобы в полной мере использовать свою производительность. Примечательно, что в то время как большое количество очередей может вызвать проблемы с HDD, система Windows позволяет приложениям определять, является ли устройство хранения SSD или HDD, поэтому FastCopy может корректировать свою политику в зависимости от типа целевого устройства хранения. Напротив, как представляется, эти технологии не используются в полной мере диспетчерами ресурсов в этом отношении.
Сотрудничество с Samsung для достижения высоких скоростей
Последней версией FastCopy является версия 5.8.1, выпущенная в январе 2025 года, но г - н Уайт уже работает над версией v6.0.0, которая не была обнародована. Разработка этой версии началась с того, что господин Уайт упомянул в социальных сетях о презентации FastCopy на выставке Inter BEE 2024, заявив, что « есть возможности для дальнейшего ускорения». Впоследствии Samsung, агенты ITG Marketing и ASK предложили испытательное оборудование и техническую поддержку.
Модель Lenovo ThinkStation P8 в качестве испытательного устройства
Тестовое оборудование включает в себя персональный компьютер Lenovo ThinkStation P8. Во время презентации на выставке, при использовании FastCopy для копирования около 20 ГБ файлов на внешнем жестком диске, средняя скорость передачи составляла около 14,5 ГБ / с, что, хотя и было намного быстрее, чем у диспетчера ресурсов, все еще ниже, чем скорость чтения около 27 ГБ / с и скорость записи около 24 ГБ / с, показанная базовым тестовым программным обеспечением.
Чтобы выяснить, почему производительность устройства хранения не была полностью реализована, г - н Уайт провел углубленное тестирование с использованием Lenovo ThinkStation P8. Компьютер оснащен процессором AMD Threadripper Pro 7975WX и восемью SSD Samsung 990 PRO, подключенными к высокоуровневой конфигурации с помощью RAID - карты HighPoint R7608A.
Карта RAID HighPoint « R7608A»
Большой радиатор охлаждает контроллеры SSD и RAID
Установленный SSD 990 PRO 2TB x 8
Результаты испытаний показали, что в сверхвысокоскоростной среде ввода / вывода на десятки Гб / с процесс синхронизации внутри операционной системы становится узким местом, а не самой асинхронной операцией чтения и записи данных. Ядро ЦП полностью занято, что не позволяет запускать дальнейшие асинхронные операции ввода / вывода. Это приводит к тому, что в среде карт HighPoint RAID скорость передачи одного ядра процессора может достигать только около 28 Гбит / с, в то время как в обычной среде Windows RAID 0 (ленточный том) скорость ниже, всего около 13 Гбит / с.
Чтобы решить эту проблему, г - н Уайтуотер ввел « пул потоков, предназначенный для обработки I / O», и позволил запускать несколько асинхронных команд для чтения и записи одновременно из этого пула потоков. Кроме того, он реализовал механизм « независимо от порядка инициализации команды, как только поток завершает обработку I / O, он немедленно начинает следующую операцию I / O».
В конце концов, основная часть FastCopy была почти полностью переписана, включая изменения в базовой библиотеке. Несмотря на значительные изменения, г - н Уайтуотер в основном нашел узкое место в скорости, поэтому он завершил версию примерно за 35 дней разработки.
На испытательном устройстве в конечном итоге были протестированы два набора карт RAID, чтобы обеспечить максимальную скорость чтения и записи. При отсутствии теплового дросселя скорость копирования файла может быть близка к скорости чтения 59 ГБ / с и скорости записи 53 ГБ / с, зарегистрированной базовым тестовым программным обеспечением, что почти соответствует предельной производительности устройства.
Обновление FastCopy позволяет копировать файлы со скоростью более 50 ГБ / с. Цифры в скобках после 52154 в разделе TransRate (109977) представляют собой общую скорость чтения и записи.
Убедитесь, что скорость передачи данных превышает 55 Гбит / с.
Улучшения FastCopy позволяют копировать файлы со скоростью более 50 ГБ / с. В диспетчере задач также можно увидеть, что скорость передачи данных превышает 55 ГБ / с.
Г - н Байшуй сказал: « Раньше я использовал устройства со скоростью около 20 Гбит / с, поэтому я не понимал, что сверхскоростная обработка ввода / вывода будет иметь такую проблему». Но по мере того, как скорость устройства пользователя продолжает расти, рано или поздно это произойдет. Эта попытка очень значима, чтобы раскрыть потенциал оборудования. "
Следующее узкое место в скорости: 90 - 100 ГБ / с
Хотя выпуск FastCopy v6.0.0 займет некоторое время, появились новые узкие места в скорости. Даже с использованием технологии, используемой в текущей тестовой версии, верхний предел скорости передачи скоро будет достигнут.
Ожидается, что следующее препятствие скорости будет около 100 Гбит / с, что также окажет значительное влияние на производительность процессора и памяти.
Одной из причин является ограничение пропускной способности памяти. В процессе копирования файловых данных память требует одновременного чтения и записи. Например, если вы хотите, чтобы устройство памяти передавало скорость от 70 до 85 Гбит / с, пропускная способность памяти должна быть в два раза выше, то есть от 140 до 170 Гбит / с. Хотя теоретически такая пропускная способность памяти может быть достигнута с помощью платформы Ryzen Threadripper или Xeon, на практике трудно достичь этого значения.
Кроме того, даже если проблема с пропускной способностью памяти была решена с помощью аппаратного обновления, другая проблема заключалась в том, что « поток, инициированный ответственной очередью, трудно параллелизовать, и занятость ядра процессора достигла 50 - 60% примерно в 50 ГБ / с». При достижении 90 - 100 Гб / с занятость ядра ЦП достигнет 100%, и дальнейшее увеличение скорости невозможно ".
Г - н Уайтуотер сказал, что он рассматривает возможность преодоления верхнего предела алгоритмической части, например, с помощью распределенной обработки. Однако постепенно становится очевидной и другая проблема: время обработки значительно увеличивается, когда функция проверки включается одновременно во время копирования.
Алгоритм хеширования « xxHash», используемый FastCopy, хотя и очень быстрый, имеет верхний предел скорости около 14 Гб / с при обработке данных большой емкости. Поэтому он уже приступил к переходу от хэш - вычислений к параллельной обработке.
Добавление процесса проверки может повысить надежность, но текущим узким местом является время, необходимое для вычисления хэша.
« Мы подтвердили, что скорость около 130 Гб / с может быть достигнута с помощью параллельных вычислений на дереве хешей. Тем не менее, если обработка данных и хеш - вычисления выполняются как для источника копирования, так и для цели, и скорость каждой обработки достигает 50 Гбит / с, то в общей сложности требуется пропускная способность памяти 200 Гбит / с. Аппаратный порог для удовлетворения этого требования будет очень высоким. « Господин Белая Вода говорит.
Текущая пропускная способность памяти DDR5 - 6400 немного превышает 50 Гб / с (при одноканальном использовании), и даже тестер ThinkStation P8 с восемью разъемами памяти DDR5 - 4800 фактически измеряет пропускную способность памяти всего 190 Гб / с. Из этого можно видеть, что даже простые операции чтения и записи файлов, если вы хотите « изо всех сил», для обычного оборудования потребительского уровня также является очень « трудной» задачей.
Преимущества FastCopy в обычных устройствах хранения
В то время как мы говорим о высокоскоростной передаче десятков Гбит / с или даже сотен Гбит / с, на самом деле скорость копирования диспетчера ресурсов стала узким местом даже для аппаратного обеспечения, доступного обычным пользователям.
Настольные компьютеры высокого класса, созданные с использованием компонентов ASUS ProArt, подготовленных в день интервью (CPU: Core Ultra 7 265K / материнская плата: ASUS ProArt Z890 - CREATOR WIFI).
Встроенный SSD для ПК - это Samsung 9100 PRO.
Мы подготовили корпус Thunderbolt 5 и измерили скорость.
Корпус оснащен 990 PRO
В день интервью были протестированы высококачественные настольные компьютеры (CPU: Core Ultra 7 265K / материнская плата: ASUS ProArt Z890 - CREATOR WIFI), собранные с использованием компонентов ASUS ProArt. Встроенный в компьютер SSD - это Samsung 9100 PRO, а внешний SSD, подключенный к Thunderbolt 5, - 990 PRO.
В тестах скорость передачи файлов между этими двумя устройствами хранения теоретически должна составлять 80 Гбит / с (около 10 Гбит / с), но при использовании диспетчера ресурсов фактическая скорость не может достигать даже 2 Гбит / с.
Однако при передаче с помощью FastCopy скорость может превышать 6 Гбит / с, а время обработки составляет лишь одну треть от времени работы диспетчера ресурсов. Эта разница в эффективности очевидна. Преимущества FastCopy особенно очевидны при обработке больших объемов передачи данных или регулярных резервных копий, которые стоит активно использовать.
Базовый тест превысил 6 ГБ / с.
При копировании данных с помощью диспетчера ресурсов измеренная скорость составляет менее 2 Гб / с.
С FastCopy я могу копировать со скоростью более 6 Гб / с, близкой к базовой скорости.
Я получил подтверждение от диспетчера задач Windows, что скорость превышает 6 ГБ / с.
В диспетчере задач также можно увидеть, что при использовании FastCopy скорость передачи данных действительно превышает 6 ГБ / с.
Хотя функция копирования в диспетчере ресурсов улучшилась со времен Windows XP, оптимизация для высокоскоростных устройств по - прежнему далека от реальных результатов тестирования. Г - н Уайтуотер сказал, что готов предоставить Microsoft техническую поддержку FastCopy, если это поможет улучшить ситуацию. Дальнейшее развитие FastCopy вполне ожидаемо.
Высокоскоростная производительность FastCopy
12 апреля 2025 года (суббота) и 13 апреля (воскресенье) на мероприятии « ASK FES 2025 » UDX в Акихабаре на стенде ITG Marketing Show будет показана высокоскоростная демонстрационная машина FastCopy для передачи файлов, и зрители смогут испытать ее превосходную производительность в прямом эфире, добро пожаловать на экскурсию.
Опубликовано 2025-04-29
广东
Программное обеспечение FastCopy Pro для удаления резервного копирования файлов Windows
