Project Polarisの一環で、分析プロジェクト側のデータ処理エンジンの変更に伴う仕様変更の第三弾を実施いたします。
変更は2026年11月19日にリリース予定です。
下記の機能が対象です。
キー列を指定する結合
ランダムにデータを分割
欠損値処理
時系列に沿った欠損値処理
連続数値、日付の補完
列or行方向の比率計算
列or行方向の累積和
文字列の分割
文字列同士の結合
文字の置換
文字列の0埋め
文字列のクレンジング
特殊な文字列のクレンジング
JSON列を展開する
類似文字列のグルーピング
「単純な縦結合」「単純な横結合」「グループごとの結合」「文字の抽出」も処理エンジンが変わりますが、処理結果は変わりません。
次の2つに当てはまる設定をお使いの場合は、リリース前に設定をご確認ください。
変更点: 「文字の置換」で、正規表現の先読み・後読み・パターン内の後方参照が使えなくなります
例えば `(?<=@)\w+`(@の後ろの単語)や `foo(?=bar)`、`(a)\1` のような正規表現です。これまでは置換できていましたが、これからはエラーになります。
通常の正規表現(文字クラス、繰り返し、グループ、`^` `$`、`|` など)は、これまでどおり使えます。
置換後の文字列の書き方(`\1` や `\g<1>` によるグループの参照など)は変わりません。
対処方法: 該当する正規表現をお使いの場合は、先読み・後読み・後方参照を使わない書き方に変更してください。
変更点: 「ランダムにデータを分割」で、同じ乱数シードを指定しても、これまでとは別の行が選ばれます
分割される行数や比率は変わりません。
同じシードを指定すれば、何度実行しても同じ結果になる点はこれまでどおりです。
ただし、過去の実行と同じ分割を、同じシードで再現することはできなくなります。
対処方法: 過去の分割結果と突き合わせる運用をしている場合は、リリース前に分割結果を保存しておいてください。
変更点: キー以外の列に、nehanで扱える範囲外の日付がある場合はエラーになります
nehanで扱える日付の範囲は `1677-09-21`〜`2262-04-11` です。
例えば日付の列にある `9999-12-31` は、これまでは欠損として扱われていましたが、これからはエラーになり、対象の列名が表示されます。
不具合修正: キー以外の列にある特定の日付時間の値が、結合後に欠損になる問題を修正します
例えば日付時間の列にある `2261-12-31 23:59:59.9999` は、これまでは結合後に欠損に置き換わっていましたが、これからは値がそのまま残ります。
キーの突き合わせ結果、同じ名前の列に付く `_x` / `_y`、出力の列の並びは変わりません。
変更点: 最頻値で補完するとき、最も多く現れる値が複数ある場合は、列の中で最初に現れる値で補完します
これまでは、選ばれる値が列の種類によって異なりました。
文字列の列: 実行するたびに選ばれる値が変わることがありました。
日付・日付時間の列: 最初に現れる値とは限りませんでした。
例えば、日付の列が `2024-01-03`、`2024-01-02`、`2024-01-01`、(欠損)のとき、これまでは `2024-01-01` で補完していましたが、これからは `2024-01-03` で補完します。
数値の列は、これまでどおり最も小さい値で補完します。
補完方法に「平均値」「中央値」を選んだ場合も、文字列・日付・日付時間の列は最頻値で補完されるため、同じ変更が当てはまります。
最も多く現れる値が1つに決まる場合の結果は変わりません。
新しいバージョンに切り替わります。すでにフローに配置済みのモジュールは「時系列に沿った欠損値処理(v1)」として、これまでどおり動作します。これから新しく追加するモジュールが、以下の新しい仕様になります。
変更点: 補間方法が「線形補間」のみになります
「補間方法を選択」と、スプライン補間用の「アルゴリズムの次数を設定」の欄がなくなります。
スプライン補間・最近傍補間・秋間補間が必要な場合は、「時系列に沿った欠損値処理(v1)」を引き続きご利用ください。
変更点: 文字列の列をグループに指定したとき、処理後の行の並びが常に「グループ順 → 日付順」になります
これまでは、各グループ内のデータがすでに日付順に並んでいると、元の並び順のままになることがありました。
変わるのは行の並び順だけで、補間の結果は変わりません。
改善点: 0行のデータで「グループごとに補間する」を指定しても、エラーにならず0行のまま完了します
改善点: 行数の多いデータでも、メモリの使用量を抑えて安定して動作します
線形補間の計算結果、「補間の範囲を設定」「連続する欠損値の補間を制限する」の動作は変わりません。
変更点: 開始値・終了値に日付として読めない文字列を指定した場合は、エラーになります
これまでは補完されずにそのまま完了していました。
変更点: 補完の対象の列に同じ値の行があるとき、それらの行は元の並び順を保ちます
これまでは、同じ値の行が多いと、その中での並びが入れ替わることがありました。値と行数は変わりません。
改善点: これまでエラーになっていた次のデータで、処理が完了するようになります
補完の対象の列がすべて欠損のデータ(グループを指定したとき、あるグループの対象の列がすべて欠損の場合も含みます)。補完は行われず、データはそのまま出力されます。
0行のデータ。0行のまま出力されます。
日付の列に `2262-04-11`(nehanで扱える最後の日付)を含むデータ。
改善点: 数値の補完で作る行が多すぎる場合に、理由が分かるエラーで止まります
これまでは処理が途中で止まっていましたが、これからは「範囲と間隔の値が正しくありません。数値を見直してください。」と表示されます。
不具合修正: 日付の列で、開始値・終了値に時刻付きの文字列(例えば `2024-01-01 12:00:00`)を指定したとき、同じ日付の行が重複して作られる問題を修正します
不具合修正: 時刻の列をグループに指定し、その列に欠損があるとき、欠損が `23:59:59.999999` に置き換わる問題を修正します。これからは欠損のまま出力されます
変更点: 「同一行内で比率を計算する」で、行の合計が0になる行は、比率を欠損として出力します
0÷0となるためです。「同一列内で比率を計算する」では、合計が0の列はこれまでも欠損でした。行方向も同じ扱いにそろえます。
欠損値を0に置き換えて計算する設定でも同じです(置き換えた後の合計が0の行が欠損になります)。
不具合修正: 「同一行内で比率を計算する」で、行の値がすべて0にごく近い場合も、比率を計算します
例えば行の値が `-1e-300`、`-1e-300` のとき、これまでは元の値がそのまま出力されていましたが、これからは `-0.5`、`-0.5` と出力されます。
通常の大きさの値では、結果は変わりません。
改善点: 0行のデータで、「行」方向にグループを指定して累積和を計算したとき、累積和の列が出力されます
これまでは、累積和の列(`累積和_○○`)が出力されていませんでした。
0行でないデータや、「列」方向での計算の結果は変わりません。
改善点: 分割後の列名が既存の列名と重なる場合は、自動で別の名前が付きます
これまでは、同じ名前の列が重なって作られていました。
分割の結果、縦持ちで出力する場合の行の並び、日付の列を分割した場合の表記は変わりません。
改善点: 設定が不足していても、エラーにならずに実行されます
新規列名を指定していない場合、これまではエラーでしたが、これからは「新規列」という列名で作られます。
固定値との結合で固定値を指定していない場合、これまではエラーでしたが、これからは空の文字として結合します。
結合の結果、区切り文字の扱いは変わりません。
変更点: 正規表現の先読み・後読み・パターン内の後方参照が使えなくなります
詳しくは「お客様に設定の確認をお願いする変更」をご覧ください。
改善点: 正規表現を使わない置換が、これまでより速くなります
不具合修正: 欠損を含む列で、マイナスの数の0埋めの結果が変わる問題を修正します
例えば4桁で0埋めしたとき、`-1` はこれまで、列に欠損があると `-001`、欠損がないと `00-1` になっていました。これからはどちらも `00-1` になります。
不具合修正: 「新しい列を追加」を選んだとき、欠損が文字になってしまう問題を修正します
これまでは、欠損が `None` や `<NA>` という文字に変わり、そのままクレンジングの対象になっていました(全角化すると `<NA>` など)。元の列の欠損も `<NA>` という文字に書き換わっていました。
これからは、新しい列でも元の列でも、欠損は欠損のまま残ります。
「上書き」を選んだ場合は、これまでどおり欠損のままです。
改善点: 0行のデータでも、エラーにならず0行のまま完了します
各クレンジングの結果(全角・半角の変換、大文字・小文字の変換、かなの変換、空白の除去など)は変わりません。
改善点: 0行のデータでも、エラーにならず0行のまま完了します
住所・会社名・電話番号の抽出とクレンジングの結果は変わりません。
新しいバージョンのモジュールを追加します。すでにフローに配置済みのモジュールは、これまでどおり動作します。
変更点: 配列の値を文字として残すときの書き方が、正式なJSONの書き方になります
例えば `{"tags": ["a", "b"]}` の tags 列は、これまでは `['a', 'b']` でしたが、これからは `["a","b"]` になります。
変更点: 展開した列の並び順が、JSONに書かれている順になります
例えば `{"person": {"name": "A", "age": 20}, "city": "Tokyo"}` は、これまでは `city`、`person__name`、`person__age` の順でしたが、これからは `person__name`、`person__age`、`city` の順になります。
変更点: オブジェクトでないJSONはエラーになります
例えば `42` や `"abc"` だけの行は、これまでは何も展開されずに完了していましたが、これからはエラーになります。
`[{"a": 1}, {"a": 2}]` のような配列は、「行に展開する」を選ぶと展開できます。
変更点: 整数の値が小数点付きで表示されることがあります
例えば `{"age": 25}` は、これまでは `25` でしたが、これからは `25.0` になることがあります。
変更点: 名前が空のキーの列名が変わります
例えば `{"": {"foo": 1}}` は、これまでは `__foo` 列でしたが、これからは `foo` 列になります。
変更点: 2^63以上の大きな整数は、同じキーや同じ配列に負の整数が混ざっていると、欠損になります
変更点: 正式なJSONの書き方(ダブルクォート)にのみ対応します
例えば `{'name': 'Alice'}`(シングルクォート)は、これまでは展開できていましたが、これからはエラーになります。
対処方法: シングルクォートのデータをお使いの場合は、データを正式なJSONの書き方に修正してください。
改善点: これまでエラーになっていたデータを展開できます
`true` / `false` を含むJSONは、`1` / `0` として展開します。
`null` を含むJSONは、欠損として展開します。
セルが欠損の行は、展開した列がすべて欠損になり、行は残ります。
同じキーに数値とオブジェクトが混ざっている場合は、文字として残します。
改善点: 配列の扱いを選べるようになります
「行に展開する」: `[{"a":1},{"a":2}]` のような配列を、要素ごとに行へ展開します。他の列の値は複製されます。
「列に展開する」: 配列の要素を `列名__0`、`列名__1` … の列に展開します。
改善点: 展開する階層の数を指定できるようになります
指定した階層より深い部分は、JSONの文字のまま列に残ります。残った列に、もう一度このモジュールを使うと続きを展開できます。
改善点: エラーのとき、どの列のどの値が原因かを表示します
例えば「「商品情報」列にJSONオブジェクトとして解釈できない値が含まれています。値の例: abc」と表示されます。
改善点: 展開が速くなり、行数の多いデータでも安定して動作します
ネストしたJSONを `親__子` の列名で展開する動作、行にないキーが欠損になる動作、「処理対象列を結果から除外」、列名が重なる場合の `_1` の付与は変わりません。
変更点: グループの番号を、データの中で先に現れたグループから順に振ります
どの行が同じグループになるかは変わりません。
これまでは、内部の処理の順で番号を振っていました。グループの番号を過去の実行結果と突き合わせて使っている場合のみ影響があります。
改善点: 0行のデータでも、エラーにならず0行のまま完了します