Project Polarisの一環で、データソースに続き、分析プロジェクト側のデータ処理エンジンの変更に伴う仕様変更を実施いたします。
本変更は第二弾であり、順次同様の変更を告知・実施予定です。
変更は2026年11月5日にリリース予定です。
下記の機能が対象です。
条件で行をフィルタ
条件に応じて値を列に挿入
列名の変更
行フィルタ条件による分割
値を列に挿入
数値列同士の演算
数値の丸め
連番の追加
数値列のカテゴリ化
データ集計
クロス集計
縦持ち変換
行と列を入れ替える
上記に加え、データソースの読み込み仕様を一部変更します。
一部の設定は、リリース後に実行するとエラーで停止します。下記「お客様に設定の変更をお願いする変更」をご確認のうえ、リリース前に設定の見直しをお願いいたします。
なお、旧バージョンのノード(画面で「(v4)」などの版表記が付くもの)と、Sparkエンジンで実行される大規模データのノードは、これまでどおり動作します。
下記に該当する設定は、リリース後に実行するとエラーで停止します。
「条件に応じて値を列に挿入」(A)で、上流で列の型を変更した設定
ノードA実行後に上流で列の型を変更し、Aの設定内の列を選び直していない設定が、実行時にエラーで停止します。(これまでは、変換できない値を欠損にしたり、意味のない値を補ったりして完走していました)
対処方法: ノードの設定を開くと「セットされた列の型が変わりました。列を選択し直して下さい(変更前:〇〇型)」と表示されます。列を選択し直して保存してください。設定を開いてOKを押すだけでは解消しません
「正規表現にマッチ」で、下記の書き方を使っている設定
対象は「条件で行をフィルタ」「行フィルタ条件による分割」「条件に応じて値を列に挿入」の「正規表現にマッチ」と、「列名の変更」の「行を列名にする」です。「列名の変更」の正規表現による置換は変更ありません
先読み・後読み("(?=...)" "(?!...)" "(?<=...)" "(?<!...)")
パターンの中の後方参照("(a)\1"、"(?P=名前)")
条件付きグループ("(?(1)...)")
"$" の後ろに何かが続く形("a$b" など)。パターン末尾の "$" と、"b$|xy" のように選択肢の末尾にある "$" は引き続きお使いいただけます
ASCII指定のフラグ("(?a)")
上記以外の書き方("." "[abc]" "\d" "\w" "*" "+" "{n,m}" "(...)" "a|b" "^" "$" "\b" "(?i)" など)は、これまでどおりPythonの正規表現としてお使いいただけます
対処方法: 複数の「正規表現にマッチ」条件に分け、「条件の接続方法を選択」で組み合わせてください。例えば "^(?=.*[a-zA-Z])(?=.*[0-9])[a-zA-Z0-9]+$"(英字と数字を両方含む、英数字だけの値)は、"^[a-zA-Z0-9]+$"、"[a-zA-Z]"、"[0-9]" の3つに分けて「AND」を選ぶと同じ結果になります
「条件に応じて値を列に挿入」で、値を補って型変換していた設定
オプション「結果を挿入する列型を指定する」で日付系や数値に変換する際、値を補ったり意味のない値を入れたりして成功していた変換が、エラーで停止します
例えば"2023"を日付に変換すると、これまでは月日を補って"2023-01-01"となっていましたが、エラーで停止
例えば時間の値"10:30:00"を日付時間に変換すると、これまでは意味のない日付が付いて"1970-01-01 10:30:00"となっていましたが、エラーで停止
例えば"10:30:00 UTC+09:00"を時間に変換すると、これまでは時差の符号を逆に解釈して"19:30:00"となっていましたが、エラーで停止
対処方法: 上流で「列の型変更」をかけるなどして値の書き方をそろえるか、変換できない値を欠損にしてよい場合は「型変更不可エラーを無視する」を有効にしてください
「数値列同士の演算」の「式を記述」で、下記以外の書き方を使っている設定
お使いいただける書き方は、四則演算 "+" "-" "*" "/"、余り "%"、商 "//"、累乗 "**"、"abs()"、"round(値, 桁)"、"log()"、"log10()"、括弧、数値、列の参照 "{列名}" です
"sqrt()" "exp()" "{A}.fillna(7)" "{A} > 2" "{A}.sum()" などは使えなくなります
対処方法: 平方根は "{A}**0.5" で同じ結果になります。欠損を埋めてから演算する場合は「欠損値を置換して演算する」オプションをご利用ください
不具合修正: AM/PMの時刻が12時間ずれる問題を修正します
12時間表記の一部の値が、12時間ずれた値に変換されていました
例えば"2023-12-25 01:30:00 PM"は"2023-12-25 01:30:00"と変換されていましたが、"2023-12-25 13:30:00"と変換
例えば"2023-12-25 12:15:00 AM"は"2023-12-25 12:15:00"と変換されていましたが、"2023-12-25 00:15:00"と変換
改善点: 変換できる日付時間の書式が増えます
"2023-12-25 10:30:00 UTC"のようなタイムゾーン表記付きの値が、型変換できるようになります
小数秒が7桁以上の値が、6桁に切り捨てて型変換できるようになります
「エラーを無視する」を有効にしている設定では、これまで欠損になっていた値に値が入ります
変更点: 数値のNaNを欠損として扱います
0÷0のような計算できない値(NaN)を、欠損として扱うようになります
データの表での見た目は変わりません。これまでもNaNは"<NA>"と表示されていました
変わるのはサマリと下流の計算です。これまでNaNは値があるものとして数えられていましたが、これからは欠損として扱われます
不具合修正: 「文字を含む(grep)」「文字を含まない(ungrep)」で、欠損セルの行の扱いが正しくなります
検索語が"A", "N", "<NA>"などのとき、欠損セルの行が「含む」に誤って一致し、「含まない」から誤って外れていました
これからは、欠損セルの行は「含む」に一致せず、「含まない」に一致します
「行フィルタ条件による分割」では、欠損セルの行の出力先が入れ替わります
変更点: 正規表現の "\b" "\B" の判定が、一部の文字の前後で変わります
通常の英数字・日本語の前後では変わりません
例えば "\b\d{9}\b" は、"123456789_"(全角アンダースコア)に一致しなくなります
変更点: 日付・時刻の読み方が「列の型変更」と同じになります
"2023-12-25"のような標準的な書式の結果は変わりません
これまでエラーだった"25-12-2023"、"Dec 25, 2023"、"2023-12-25 01:30:00 PM"などが型変換できるようになります
日と月のどちらとも解釈できる値は、列の中で最も多く現れる書式に合わせて読み取ります
読み方を固定したい場合は、文字列のまま扱うか、列の中の書式をそろえてください
変更点: 約9.2×10¹⁸ 以上の整数を数値で挿入すると、下の桁が変わります
例えば"9223372036854775808"(19桁)は"9.223372036854776e+18"に
桁の多いIDを数値として扱っている場合、エラーにならないためお気づきになりにくい変更です
約9.2×10¹⁸ より小さい値は変わりません
不具合修正: 時間の値を文字列で挿入する際の不要な日付が付かなくなります
挿入する値に時間の列とそれ以外の値が混ざる場合、"1970-01-01 10:30:00"のように不要な日付が付いていました
これからは"10:30:00"となります
変更点: 「簡易設定」「簡易一括設定」の "+" "-" "×" で、欠損の項を外して計算します
これまでは、項のいずれかが欠損だと結果も欠損になっていました
これからは欠損の項を演算から外し、残りの項で計算します("+" "-" では0、"×" では1として扱います)
定数も残りの項として計算します。「単価 × 1.1」で単価が欠損の行は、これまで欠損、これからは1.1に
項がすべて欠損の行は、これまでどおり欠損です
"÷"・「商」・「余り」・「累乗」は変わりません。欠損の項があれば欠損のままです
「式を記述」は変わりません
「欠損値を置換して演算する」をご利用の設定は変わりません
変更点: 「合計」で、値がすべて欠損のグループが0ではなく欠損になります
足す値が1つもないため、合計は決まらないという扱いになります
一部の値だけが欠損のグループは、これまでどおり欠損を除いて合計します
「平均」「中央値」「最小値」「最大値」「標準偏差」は、これまでも欠損でした。「カウント」「ユニークカウント」は、これまでどおり0です
下流のノードでは、0ではなく欠損として扱われます
不具合修正: 時間型のキーの欠損が、欠損のまま出力されます
これまでは"23:59:59.999999"と表示され、実データの"23:59:59.999999"の行とまとめられていました
日付・日付時間・数値・文字列のキーでは、これまでも欠損のまま出力されていました
不具合修正: キー列自身を集計したときの、欠損キーの行の値が欠損になります
日付・日付時間・時間のキー列を同じ列の「最小値」「最大値」などで集計した場合、内部で使用する値(日付なら"9999-12-31")が出力されていました
「カウント」「ユニークカウント」の値は変わりません
不具合修正: 日付の「最小値」「最大値」で、表全体が欠損になる問題を修正します
日付と欠損が混ざるセルが1つでもあると、表のすべてのセルが欠損になっていました
これからは、セルごとに正しい日付が入ります
「発生した欠損値を置換する」を設定している場合、これまでは表のすべてのセルが置換値になっていました
変更点: 「合計」で、欠損が混ざるセルに合計が入ります
これまでは、セルにまとめる値に欠損が1つでも混ざると、そのセルが欠損になっていました
これからは、欠損を除いた値の合計が入ります
値がすべて欠損のセルは、これまでどおり欠損です(0にはなりません)
変更点: 「ユニークカウント」で、欠損を値の種類に数えなくなります
これまでは欠損も1種類として数えていました
「データ集計」の「ユニークカウント」と同じ数え方になります
値がすべて欠損のセルは1から0になります
変更点: 横キーから作る列の並び順が変わります
できる列とセルの値は変わりません。表示とCSV出力の列の順だけが変わります
これからは値の順(数値は小さい順、文字列は辞書順)に並び、欠損"<NA>"の列は末尾になります
列名で参照している下流のノードは影響を受けません
不具合修正: 「発生した欠損値を置換する」で置換されずに残っていた欠損が、置換されるようになります
横キーに、列名にすると同じ表記になる値(全角の"1"と半角の"1"など)がある場合、一部の欠損が置換されずに残っていました
不具合修正: 時間型のキー(縦キー)の欠損が、欠損のまま出力されます
「データ集計」と同じ変更です
不具合修正: グループ列が欠損の行が、出力から消えなくなります
「既存列を基準にした連番を追加」で基準の列が文字列、かつ「グループ内で連番を振る」を使う設定で、グループ列が欠損の行が出力から消えていました
これからは、欠損の行をまとめて1つのグループとして番号を振ります
基準の列が数値・日付・日付時間の設定では、これまでも欠損の行は残っていました
変更点: 同じ値の行に振る番号が、上の行から順になります
「同一番号を許可しない」で基準の列が文字列、かつ表が17行以上の場合、これまでは番号が行の上下と関係なくばらばらに振られていました
これからは上の行から順に振ります
どの行がどの番号になるかが変わります。連番で行を絞り込んだり並べ替えたりしている場合は、下流の結果も変わります
16行以下の表、および「同一番号を許可」の設定は変わりません
不具合修正: 日付時間の値の時刻が切り捨てられなくなります
値の列に日付時間の列とほかの型の列が混ざる場合、「値」が日付型になり時刻が切り捨てられることがありました
例えば"2024-01-01 10:00:00"が"2024-01-01"となっていましたが、これからは日付時間のまま出力
値の列がすべて数値の設定や、すべて日付時間の設定は変わりません
これまでもエラーで停止していた設定について、エラーの文言が変わります。停止すること自体は変わりません。
「条件に応じて値を列に挿入」で型変換に失敗する設定: 列名と、変換できなかった値を表示するようになります
「クロス集計」で文字列の列に「合計」を指定した設定: 「合計は数値型以外には適用できません」と表示
「データ集計」で時間の列に「平均」と「合計」を同時に指定した設定: 「列: 〇〇は時間型のため合計の計算は出来ません」と表示
「数値列のカテゴリ化」で「等頻度に分割」の分割数2、欠損を除いた値が2件の設定: 「分割数を見直してください」と表示