3010

src/dataset_combine_zstd.py

@@ -1,47 +0,0 @@
-import os
-import shutil
-from datasets import load_from_disk, concatenate_datasets
-
-def combine_datasets(main_dataset_path, datasets_to_add):
-    try:
-        main_dataset = load_from_disk(main_dataset_path)
-        print(f"Загружен основной датасет: {main_dataset_path} ({len(main_dataset)} записей)")
-    except Exception as e:
-        print(f"Ошибка загрузки основного датасета: {e}")
-        return None
-
-    all_datasets = [main_dataset]
-
-    for path in datasets_to_add:
-        try:
-            ds = load_from_disk(path)
-            all_datasets.append(ds)
-            print(f"Добавлен датасет: {path} ({len(ds)} записей)")
-        except Exception as e:
-            print(f"Ошибка загрузки датасета {path}: {e}")
-
-    combined = concatenate_datasets(all_datasets)
-    print(f"Объединение {len(all_datasets)} датасетов...")
-
-    temp_dir = f"{main_dataset_path}_temp"
-    if os.path.exists(temp_dir):
-        shutil.rmtree(temp_dir)
-
-    try:
-        print(f"Сохранение в сжатом формате во временную директорию {temp_dir}...")
-        combined.save_to_disk(temp_dir)#, compression="zstd")  # <-- Сжатие
-
-        print(f"Обновление основного датасета...")
-        if os.path.exists(main_dataset_path):
-            shutil.rmtree(main_dataset_path)
-        shutil.copytree(temp_dir, main_dataset_path)
-        shutil.rmtree(temp_dir)
-
-        print(f"✅ Объединенный датасет ({len(combined)} записей) успешно сохранен в: {main_dataset_path}")
-    except Exception as e:
-        print(f"Ошибка при сохранении датасета: {e}")
-        print(f"Временные данные сохранены в: {temp_dir}")
-
-    return combined
-
-combine_datasets("/workspace/sdxs3d/datasets/esh640", ["/workspace/sdxs3d/datasets/batch0_640_temp"])