我正在尝试用 nvidia GeForce RTX 2080 TI 搭建一个小型站点,可以用于进行 AI 计算相关的研究和实践。
我安装了 CUDA 驱动程序。但是,我遇到了以下问题:
我无法使用“nvidia-smi”查看 GPU 信息,其中包括 CUDA 核心的数量等。下面是我运行此命令后得到的结果。
我尝试运行 PySpark 以使用 CUDA 核心读取样本数据。但是,我不知道 PySpark 是否真的调用 CUDA 核心。我运行“nvidia-smi -l”并得到与上述相同的输出。以下是 PySpark 命令:
from pyspark.sql import SparkSession os.environ['JAVA_HOME']='/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64' spark = SparkSession.builder.appName("example")\ .config("spark.executorEnv.CUDA_VISIBLE_DEVICES", "0,1")\ .config("spark.executorEnv.cores_per_device", "1024")\ .config("spark.sql.repl.eagerEval.maxNumRows", "500")\ .config("spark.sql.repl.eagerEval.maxNumCols", "500")\ .getOrCreate() dirs = "/data_dir/domestic/common_data/CONTACT_SUMMARY_PERSIST.9989.parquet" df = spark.read.option("header", "true").option("delimiter", "|").parquet(dirs)
非常感谢任何帮助和建议。