☰

在 powershell 中读取 csv 文件，标题行有重复项

tag-icon • tag-icon powershell csv
在 powershell 中读取 csv 文件，标题行有重复项

我有一个脚本，试图读取一个 csv 文件并为数据分配列名。但是，该文件有多个同名的列，请参见下面的等级 QA/QC 和符号

 ID,Date,Water Level / Niveau d'eau (m),Grade,Symbol / Symbole,QA/QC,Discharge / Débit (cms),Grade,Symbol / Symbole,QA/QC
07QC008,2018-12-28T00:00:00-06:00,6.536,,,1,0.052,,,1

下面是代码，我该如何修改它以删除标题行并替换我自己的列名？

$stations = import-csv “C:\Users\robm\Downloads\stations\SK_hourly_hydrometric.csv”
#$stations | Get-Member


ForEach ($station in $stations){
$ID = $($station.ID)
$Date = $($station.Date)
$WaterLevel = $($station."Water Level / Niveau d'eau (m)")
$GradeWL = $($station.Grade1)
$SymbolWL=$($station."Symbol / Symbole1")
$QAWL=$($station."QA/QC1")
#$Discharge=$($station."Discharge / Débit (cms)")
$Discharge=$($station."Discharge")
$GradeD=$($station.Grade2)
$SymbolG=$($station."Symbol / Symbole2")
$QAD=$($station."QA/QC2")
Write-host $ID "|" $Date "|" $WaterLevel "|" $GradeWL "|" $SymbolWL "|" $QAWL "|" $Discharge "|" $GradeD "|" $SymbolG "|" $QAD
#Write-host $Discharge
}

答案1

您无法导入重复的标题，
因此请忽略它们并提供您自己的新标题名称。

  • 使用Get-Content而不是Import-Object
  • 跳过第一行
  • 使用 ConvertFrom-Csv 与您的标题
  • （取消）选择输出中不需要的列
  • 使用 export-csv 来-Delimiter '|'获得一个新的正确的 csv
    （所有标题/列都用双引号引起来）
## Q:\Test\2018\12\31\sf_947091.ps1
$FileIn = 'C:\Users\robm\Downloads\stations\SK_hourly_hydrometric.csv'
$FileOut= 'C:\Users\robm\Downloads\stations\SK_hourly_hydrometric_new.csv'

$stations = Get-Content $FileIn | Select-Object -Skip 1 |
    ConvertFrom-Csv -Header ID,Date,WaterLevel,GradeWL,SymbolWL,QAWL,Discharge,GradeD,SymbolG,QAD 

$stations | Select-Object -Exclude Discharge 

$stations | Select-Object -Exclude Discharge | Export-Csv $FileOut  -NoTypeInformation

屏幕输出示例：

ID         : 07QC008
Date       : 2018-12-28T00:00:00-06:00
WaterLevel : 6.536
GradeWL    :
SymbolWL   :
QAWL       : 1
Discharge  : 0.052
GradeD     :
SymbolG    :
QAD        : 1

示例 $FileOut

> Get-Content $FileOut
"ID"|"Date"|"WaterLevel"|"GradeWL"|"SymbolWL"|"QAWL"|"Discharge"|"GradeD"|"SymbolG"|"QAD"
"07QC008"|"2018-12-28T00:00:00-06:00"|"6.536"|""|""|"1"|"0.052"|""|""|"1"

一种完全不同的方法是自动读取旧头，
存储在哈希表中，
从而检查重复项并附加越来越多的

## Q:\Test\2018\12\31\sf_947091_".ps1
$FileIn = 'C:\Users\robm\Downloads\stations\SK_hourly_hydrometric.csv'

(Get-Content $FileIn | Select-Object -First 1) -split ',' |
ForEach-Object {$Header = @{};$i=0}{
    $key = $_
    $j = 1
    while ($Header.Containskey($key)){
      $key = ("{0}{1}" -f $_,++$j)
    }
    $Header.Add($key,++$i)
}
$NewHeader = ($Header.GetEnumerator()|Sort-Object Value|
    ForEach-Object {'"'+$_.Name+'"'}) -Join ','

$NewHeader

"ID","Date","Water Level / Niveau d'eau (m)","Grade","Symbol / Symbole","QA/QC","Discharge / D‚bit (cms)","Grade2","Symbol / Symbole2","QA/QC2"

答案2

根据“lotpings”的评论，我编写了一个函数来验证 CSV 中是否没有重复项。它还确保删除标题中的引号。

用于：

csv_header_numbering_when_doublefound("dir/myfile.csv");

function csv_header_numbering_when_doublefound($fname)
{
$file=Get-Content "$fname"
($file | Select-Object -First 1) -split ',' |
ForEach-Object {$Header = @{};$i=0}{
    $key = $_ -replace '"',''
    $j = 1
    while ($Header.Containskey($key)){
      $key = ("{0}{1}" -f $_,++$j)
    }
    $Header.Add($key,++$i)
}
$NewHeader = ($Header.GetEnumerator()|Sort-Object Value|
    ForEach-Object {'"'+$_.Name+'"'}) -Join ','


$NewHeader > $fname;
$file | select-object -skip 1 >> $fname

}

答案3

在我看来，最简单的解决方案是使用列号，但您也可以根据需要替换标题https://docs.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/import-csv?view=powershell-6.最后一列是

$station[10]

相关内容