Class: Groonga::DoubleArrayTrie

Inherits:
Table show all
Includes:
Table::KeySupport
Defined in:
ext/groonga/rb-grn-double-array-trie.c,
ext/groonga/rb-grn-double-array-trie.c

Overview

It’s a table that manages records by double array trie. It can change key without ID change. This feature is supported by only Groonga::DoubleArrayTrie. But it requires large spaces rather than other tables. It is used by Database for key management internally. It’s reasonable choice because number of tables and columns in Database (number of their names equals to number of keys to be managed by Groonga::DoubleArrayTrie) will be less than number of records of user defined tables.

Groonga::DoubleArrayTrie supports exact match search, predictive search and common prefix search like PatriciaTrie . It also supports cursor API.

Class Method Summary collapse

Instance Method Summary collapse

  • #open_prefix_cursor ⇒ Object

    prefix に前方一致検索をするカーソルを生成して返す。ブロッ クを指定すると、そのブロックに生成したカーソルが渡され、ブ ロックを抜けると自動的にカーソルが破棄される。.

  • #search(key, options = nil) ⇒ Groonga::Hash

    key にマッチするレコードのIDがキーに入っている Hash を返す。マッチするレコードがない場合は空の fGroongafGroonga::Hash が返る。 options で +:result+ を指定することにより、そのテーブルにマッ チしたレコードIDがキーのレコードを追加することができる。 +:result+ にテーブルを指定した場合は、そのテーブルが返る。.

  • #update ⇒ Object

    Renames key of a record.

Methods included from Table::KeySupport

#[], #[]=, #add, #column_value, #default_tokenizer, #default_tokenizer=, #delete, #has_key?, #id, #inspect, #key, #key?, #normalize_key?, #normalizer, #normalizer=, #reindex, #set_column_value, #set_value, #support_key?, #token_filters, #token_filters=, #tokenize, #value

Methods included from EncodingSupport

#encoding

Methods inherited from Table

#[], #clear_lock, #column, #column_value, #columns, #define_column, #define_index_column, #defrag, #delete, #difference!, #disk_usage, #each, #each_sub_record, #empty?, #exist?, #geo_sort, #group, #have_column?, #have_n_sub_records_space?, #initialize, #inspect, #intersection!, #lock, #locked?, #merge!, #open_cursor, #paginate, #records, #rename, #select, #set_column_value, #set_value, #size, #sort, #support_key?, #support_sub_records?, #support_value?, #truncate, #union!, #unlock, #value

Methods included from Flushable

#flush

Methods inherited from Object

#==, #[], #[]=, #accessor?, #append, #builtin?, #close, #closed?, #column?, #dirty?, #domain, #function_procedure?, #id, #index_column?, #inspect, #key_accessor?, #last_modified, #name, #path, #persistent?, #prepend, #procedure?, #range, #reference_column?, #remove, #scorer_procedure?, #selector_only_procedure?, #selector_procedure?, #table?, #temporary?, #touch, #unlink, #window_function_procedure?

Constructor Details

This class inherits a constructor from Groonga::Table

Class Method Details

.create(options = {}) ⇒ Groonga::DoubleArrayTrie .create(options = {}) {|table| ... } ⇒ Object

It creates a table that manages records by double array trie. ブロックを指定すると、そのブロックに生成したテーブルが渡さ れ、ブロックを抜けると自動的にテーブルが破棄される。

Examples:

#無名一時テーブルを生成する。
Groonga::DoubleArrayTrie.create

#無名永続テーブルを生成する。
Groonga::DoubleArrayTrie.create(:path => "/tmp/hash.grn")

#名前付き永続テーブルを生成する。ただし、ファイル名は気に
#しない。
Groonga::DoubleArrayTrie.create(:name => "Bookmarks",
                                :persistent => true)

#それぞれのレコードに512バイトの値を格納できる無名一時テー
#ブルを生成する。
Groonga::DoubleArrayTrie.create(:value => 512)

#キーとして文字列を使用する無名一時テーブルを生成する。
Groonga::DoubleArrayTrie.create(:key_type => Groonga::Type::SHORT_TEXT)

#キーとして文字列を使用する無名一時テーブルを生成する。
#(キーの種類を表すオブジェクトは文字列で指定。)
Groonga::DoubleArrayTrie.create(:key_type => "ShortText")

#キーとしてBookmarksテーブルのレコードを使用す
#る無名一時テーブルを生成する。
bookmarks = Groonga::DoubleArrayTrie.create(:name => "Bookmarks")
Groonga::DoubleArrayTrie.create(:key_type => bookmarks)

#キーとしてBookmarksテーブルのレコードを使用す
#る無名一時テーブルを生成する。
#(テーブルは文字列で指定。)
Groonga::DoubleArrayTrie.create(:name => "Bookmarks")
Groonga::DoubleArrayTrie.create(:key_type => "Bookmarks")

#全文検索用のトークンをバイグラムで切り出す無名一時テーブ
#ルを生成する。
bookmarks = Groonga::DoubleArrayTrie.create(:name => "Bookmarks")
bookmarks.define_column("comment", "Text")
terms = Groonga::DoubleArrayTrie.create(:name => "Terms",
                                        :default_tokenizer => "TokenBigram")
terms.define_index_column("content", bookmarks,
                          :source => "Bookmarks.comment")

Overloads:

  • .create(options = {}) ⇒ Groonga::DoubleArrayTrie

    Parameters:

    • options (::Hash) (defaults to: {})

      The name and value pairs. Omitted names are initialized as the default value.

    Options Hash (options):

    • :context (Groonga::Context) — default: Groonga::Context.default

      テーブルが利用する Context

    • :name (Object)

      テーブルの名前。名前をつけると、 Context#[] に名 前を指定してテーブルを取得することができる。省略すると 無名テーブルになり、テーブルIDでのみ取得できる。

    • :path (Object)

      テーブルを保存するパス。パスを指定すると永続テーブルとな り、プロセス終了後もレコードは保持される。次回起動時に Context#[] で保存されたレコードを利用する ことができる。省略すると一時テーブルになり、プロセスが終 了するとレコードは破棄される。

    • :persistent (Object)

      +true+ を指定すると永続テーブルとなる。 +path+ を省略した 場合は自動的にパスが付加される。 +:context+ で指定した Context に結びついているデータベースが一時デー タベースの場合は例外が発生する。

    • :key_normalize (Object) — default: false

      Keys are normalized if this value is @true@.

      @deprecated Use @:normalizer => “NormalizerAuto”@ instead.

    • :key_with_sis (Object)

      +true+ を指定するとキーの文字列の全suffixが自動的に登 録される。

    • :key_type (Object)

      キーの種類を示すオブジェクトを指定する。キーの種類には型 名(”Int32”や”ShortText”など)または Type または テーブル( ArrayHashGroonga::DoubleArrayTrie のどれか)を指定する。 Type を指定した場合は、その型が示す範囲の値をキー として使用する。ただし、キーの最大サイズは4096バイトで あるため、 Type::TEXTType::LONG_TEXT は使用できない。

      テーブルを指定した場合はレコードIDをキーとして使用する。 指定したテーブルの Record をキーとして使用するこ ともでき、その場合は自動的に Record からレコード IDを取得する。

      省略した場合はShortText型をキーとして使用する。この場合、 4096バイトまで使用可能である。

    • :value_type (Object)

      値の型を指定する。省略すると値のための領域を確保しない。 値を保存したい場合は必ず指定すること。

      参考: Type.new

    • :default_tokenizer (Object)

      IndexColumn で使用するトークナイザを指定する。 デフォルトでは何も設定されていないので、テーブルに IndexColumn を定義する場合は @”TokenBigram”@ などを指定する必要がある。

    • :token_filters (::Array<String, Groonga::Procedure>, nil) — default: nil

      The token filters to be used in the table.

    • :sub_records (Object)

      +true+ を指定すると Table#group でグループ化したときに、 Record#n_sub_records でグループに含まれるレコー ドの件数を取得できる。

    • :normalizer (String, Groonga::Procedure, nil)

      The normalizer that is used by IndexColumn. You can specify this by normalizer name as String such as @”NormalizerAuto”@ or normalizer object.

    Returns:

  • .create(options = {}) {|table| ... } ⇒ Object

    Parameters:

    • options (::Hash) (defaults to: {})

      The name and value pairs. Omitted names are initialized as the default value.

    Options Hash (options):

    • :context (Groonga::Context) — default: Groonga::Context.default

      テーブルが利用する Context

    • :name (Object)

      テーブルの名前。名前をつけると、 Context#[] に名 前を指定してテーブルを取得することができる。省略すると 無名テーブルになり、テーブルIDでのみ取得できる。

    • :path (Object)

      テーブルを保存するパス。パスを指定すると永続テーブルとな り、プロセス終了後もレコードは保持される。次回起動時に Context#[] で保存されたレコードを利用する ことができる。省略すると一時テーブルになり、プロセスが終 了するとレコードは破棄される。

    • :persistent (Object)

      +true+ を指定すると永続テーブルとなる。 +path+ を省略した 場合は自動的にパスが付加される。 +:context+ で指定した Context に結びついているデータベースが一時デー タベースの場合は例外が発生する。

    • :key_normalize (Object) — default: false

      Keys are normalized if this value is @true@.

      @deprecated Use @:normalizer => “NormalizerAuto”@ instead.

    • :key_with_sis (Object)

      +true+ を指定するとキーの文字列の全suffixが自動的に登 録される。

    • :key_type (Object)

      キーの種類を示すオブジェクトを指定する。キーの種類には型 名(”Int32”や”ShortText”など)または Type または テーブル( ArrayHashGroonga::DoubleArrayTrie のどれか)を指定する。 Type を指定した場合は、その型が示す範囲の値をキー として使用する。ただし、キーの最大サイズは4096バイトで あるため、 Type::TEXTType::LONG_TEXT は使用できない。

      テーブルを指定した場合はレコードIDをキーとして使用する。 指定したテーブルの Record をキーとして使用するこ ともでき、その場合は自動的に Record からレコード IDを取得する。

      省略した場合はShortText型をキーとして使用する。この場合、 4096バイトまで使用可能である。

    • :value_type (Object)

      値の型を指定する。省略すると値のための領域を確保しない。 値を保存したい場合は必ず指定すること。

      参考: Type.new

    • :default_tokenizer (Object)

      IndexColumn で使用するトークナイザを指定する。 デフォルトでは何も設定されていないので、テーブルに IndexColumn を定義する場合は @”TokenBigram”@ などを指定する必要がある。

    • :token_filters (::Array<String, Groonga::Procedure>, nil) — default: nil

      The token filters to be used in the table.

    • :sub_records (Object)

      +true+ を指定すると Table#group でグループ化したときに、 Record#n_sub_records でグループに含まれるレコー ドの件数を取得できる。

    • :normalizer (String, Groonga::Procedure, nil)

      The normalizer that is used by IndexColumn. You can specify this by normalizer name as String such as @”NormalizerAuto”@ or normalizer object.

    Yields:

    • (table)


241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
# File 'ext/groonga/rb-grn-double-array-trie.c', line 241

static VALUE
rb_grn_double_array_trie_s_create (int argc, VALUE *argv, VALUE klass)
{
    grn_ctx *context;
    grn_obj *key_type = NULL, *value_type = NULL, *table;
    const char *name = NULL, *path = NULL;
    unsigned name_size = 0;
    grn_table_flags flags = GRN_OBJ_TABLE_DAT_KEY;
    VALUE rb_table;
    VALUE options, rb_context, rb_name, rb_path, rb_persistent;
    VALUE rb_key_normalize, rb_key_with_sis, rb_key_type;
    VALUE rb_value_type;
    VALUE rb_default_tokenizer;
    VALUE rb_token_filters;
    VALUE rb_sub_records;
    VALUE rb_normalizer;

    rb_scan_args(argc, argv, "01", &options);

    rb_grn_scan_options(options,
                        "context", &rb_context,
                        "name", &rb_name,
                        "path", &rb_path,
                        "persistent", &rb_persistent,
                        "key_normalize", &rb_key_normalize,
                        "key_with_sis", &rb_key_with_sis,
                        "key_type", &rb_key_type,
                        "value_type", &rb_value_type,
                        "default_tokenizer", &rb_default_tokenizer,
                        "token_filters", &rb_token_filters,
                        "sub_records", &rb_sub_records,
                        "normalizer", &rb_normalizer,
                        NULL);

    context = rb_grn_context_ensure(&rb_context);

    if (!NIL_P(rb_name)) {
        name = StringValuePtr(rb_name);
        name_size = RSTRING_LEN(rb_name);
        flags |= GRN_OBJ_PERSISTENT;
    }

    if (!NIL_P(rb_path)) {
        path = StringValueCStr(rb_path);
        flags |= GRN_OBJ_PERSISTENT;
    }

    if (RVAL2CBOOL(rb_persistent))
        flags |= GRN_OBJ_PERSISTENT;

    if (RVAL2CBOOL(rb_key_normalize))
        flags |= GRN_OBJ_KEY_NORMALIZE;

    if (RVAL2CBOOL(rb_key_with_sis))
        flags |= GRN_OBJ_KEY_WITH_SIS;

    if (NIL_P(rb_key_type)) {
        key_type = grn_ctx_at(context, GRN_DB_SHORT_TEXT);
    } else {
        key_type = RVAL2GRNOBJECT(rb_key_type, &context);
    }

    if (!NIL_P(rb_value_type))
        value_type = RVAL2GRNOBJECT(rb_value_type, &context);

    if (RVAL2CBOOL(rb_sub_records))
        flags |= GRN_OBJ_WITH_SUBREC;

    table = grn_table_create(context, name, name_size, path,
                             flags, key_type, value_type);
    if (!table)
        rb_grn_context_check(context, rb_ary_new_from_values(argc, argv));
    rb_table = GRNOBJECT2RVAL(klass, context, table, GRN_TRUE);

    if (!NIL_P(rb_default_tokenizer))
        rb_funcall(rb_table, rb_intern("default_tokenizer="), 1,
                   rb_default_tokenizer);
    if (!NIL_P(rb_token_filters))
        rb_funcall(rb_table, rb_intern("token_filters="), 1,
                   rb_token_filters);
    if (!NIL_P(rb_normalizer))
        rb_funcall(rb_table, rb_intern("normalizer="), 1,
                   rb_normalizer);

    if (rb_block_given_p())
        return rb_ensure(rb_yield, rb_table, rb_grn_object_close, rb_table);
    else
        return rb_table;
}

Instance Method Details

#open_prefix_cursor(prefix, options = {}) ⇒ Groonga::DoubleArrayTrieCursor #open_prefix_cursor(prefix, options = {}) {|cursor| ... } ⇒ Object

prefix に前方一致検索をするカーソルを生成して返す。ブロッ クを指定すると、そのブロックに生成したカーソルが渡され、ブ ロックを抜けると自動的にカーソルが破棄される。

Overloads:

  • #open_prefix_cursor(prefix, options = {}) ⇒ Groonga::DoubleArrayTrieCursor

    Parameters:

    • prefix (String)

      前方一致させる値

    • options (::Hash) (defaults to: {})

      The name and value pairs. Omitted names are initialized as the default value.

    Options Hash (options):

    • :key_bytes (Object)

      prefix のサイズ(byte)

    • :key_bits (Object)

      prefix のサイズ(bit)

    • :offset (Object)

      該当する範囲のレコードのうち、(0ベースで) :offset 番目 からレコードを取り出す。

    • :limit (Object)

      該当する範囲のレコードのうち、 :limit 件のみを取り出す。 省略された場合または-1が指定された場合は、全件が指定され たものとみなす。

    • :order (Object)

      +:asc+ または +:ascending+ を指定すると昇順にレコードを取 り出す。 +:desc+ または +:descending+ を指定すると降順にレコードを 取り出す。

    • :order_by (Object) — default: :id

      +:id+ を指定するとID順にレコードを取り出す。(デフォルト) +:key+指定するとキー順にレコードを取り出す。

    • :greater_than (Object)

      +true+ を指定すると prefix で指定した値に一致した [ +key+ ] を 範囲に含まない。

    • :less_than (Object)

      +true+ を指定すると prefix で指定した値に一致した [ +key+ ] を 範囲に含まない。

    Returns:

  • #open_prefix_cursor(prefix, options = {}) {|cursor| ... } ⇒ Object

    Parameters:

    • prefix (String)

      前方一致させる値

    • options (::Hash) (defaults to: {})

      The name and value pairs. Omitted names are initialized as the default value.

    Options Hash (options):

    • :key_bytes (Object)

      prefix のサイズ(byte)

    • :key_bits (Object)

      prefix のサイズ(bit)

    • :offset (Object)

      該当する範囲のレコードのうち、(0ベースで) :offset 番目 からレコードを取り出す。

    • :limit (Object)

      該当する範囲のレコードのうち、 :limit 件のみを取り出す。 省略された場合または-1が指定された場合は、全件が指定され たものとみなす。

    • :order (Object)

      +:asc+ または +:ascending+ を指定すると昇順にレコードを取 り出す。 +:desc+ または +:descending+ を指定すると降順にレコードを 取り出す。

    • :order_by (Object) — default: :id

      +:id+ を指定するとID順にレコードを取り出す。(デフォルト) +:key+指定するとキー順にレコードを取り出す。

    • :greater_than (Object)

      +true+ を指定すると prefix で指定した値に一致した [ +key+ ] を 範囲に含まない。

    • :less_than (Object)

      +true+ を指定すると prefix で指定した値に一致した [ +key+ ] を 範囲に含まない。

    Yields:

    • (cursor)


554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
# File 'ext/groonga/rb-grn-double-array-trie.c', line 554

static VALUE
rb_grn_double_array_trie_open_prefix_cursor (int argc, VALUE *argv, VALUE self)
{
    grn_ctx *context = NULL;
    grn_table_cursor *cursor;
    VALUE rb_cursor;

    cursor = rb_grn_double_array_trie_open_grn_prefix_cursor(argc, argv,
                                                         self, &context);
    rb_cursor = GRNTABLECURSOR2RVAL(Qnil, context, cursor);
    rb_iv_set(rb_cursor, "@table", self); /* FIXME: cursor should mark table */
    if (rb_block_given_p())
        return rb_ensure(rb_yield, rb_cursor, rb_grn_object_close, rb_cursor);
    else
        return rb_cursor;
}

#search(key, options = nil) ⇒ Groonga::Hash

key にマッチするレコードのIDがキーに入っている Hash を返す。マッチするレコードがない場合は空の Groonga::DoubleArrayTrie.fGroongafGroonga::Hash が返る。 options で +:result+ を指定することにより、そのテーブルにマッ チしたレコードIDがキーのレコードを追加することができる。 +:result+ にテーブルを指定した場合は、そのテーブルが返る。

Examples:

複数のキーで検索し、結果を1つのテーブルに集める。

result = nil
keys = ["morita", "gunyara-kun", "yu"]
keys.each do |key|
  result = users.search(key, :result => result)
end
result.each do |record|
  user = record.key
  p user.key # -> "morita"または"gunyara-kun"または"yu"
end

Parameters:

  • key (String)

    レコードにマッチさせる値

  • options (::Hash) (defaults to: nil)

    The name and value pairs. Omitted names are initialized as the default value.

Options Hash (options):

  • :result (Object)

    The result 結果を格納するテーブル。

  • :operator (Object) — default: Groonga::Operator::OR

    マッチしたレコードをどのように扱うか。指定可能な値は以 下の通り。

    • Groonga::Operator::OR := マッチしたレコードを追加。すでにレコードが追加され ている場合は何もしない。 =:
    • Groonga::Operator::AND := マッチしたレコードのスコアを増加。マッチしなかった レコードを削除。 =:
    • Groonga::Operator::AND_NOT := マッチしたレコードを削除。 =:
    • Groonga::Operator::ADJUST := マッチしたレコードのスコアを増加。 =:
    • +:type+ := ????? =:

Returns:



375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
# File 'ext/groonga/rb-grn-double-array-trie.c', line 375

static VALUE
rb_grn_double_array_trie_search (int argc, VALUE *argv, VALUE self)
{
    grn_rc rc;
    grn_ctx *context;
    grn_obj *table;
    grn_id domain_id;
    grn_obj *key, *domain, *result;
    grn_operator operator;
    grn_search_optarg search_options;
    grn_bool search_options_is_set = GRN_FALSE;
    VALUE rb_key, options, rb_result, rb_operator, rb_type;

    memset(&search_options, 0, sizeof(grn_search_optarg));

    rb_grn_double_array_trie_deconstruct(SELF(self), &table, &context,
                                         &key, NULL, &domain_id, &domain,
                                         NULL, NULL, NULL,
                                         NULL);

    rb_scan_args(argc, argv, "11", &rb_key, &options);

    RVAL2GRNKEY(rb_key, context, key, domain_id, domain, self);

    rb_grn_scan_options(options,
                        "result", &rb_result,
                        "operator", &rb_operator,
                        "type", &rb_type,
                        NULL);

    if (NIL_P(rb_result)) {
        result = grn_table_create(context, NULL, 0, NULL,
                                  GRN_OBJ_TABLE_HASH_KEY | GRN_OBJ_WITH_SUBREC,
                                  table, 0);
        rb_grn_context_check(context, self);
        rb_result = GRNOBJECT2RVAL(Qnil, context, result, GRN_TRUE);
    } else {
        result = RVAL2GRNOBJECT(rb_result, &context);
    }

    operator = RVAL2GRNOPERATOR(rb_operator);

    rc = grn_obj_search(context, table, key,
                        result, operator,
                        search_options_is_set ? &search_options : NULL);
    rb_grn_rc_check(rc, self);

    return rb_result;
}

#update(current_key, new_key) ⇒ Object #update(id, new_key, : id=>true) ⇒ Object

Renames key of a record.

Since:

  • 4.0.5



631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
# File 'ext/groonga/rb-grn-double-array-trie.c', line 631

static VALUE
rb_grn_double_array_trie_update (int argc, VALUE *argv, VALUE self)
{
    VALUE rb_current_key_or_id, rb_new_key, rb_options;
    VALUE rb_option_id;

    rb_scan_args(argc, argv, "21",
                 &rb_current_key_or_id, &rb_new_key, &rb_options);
    rb_grn_scan_options(rb_options,
                        "id", &rb_option_id,
                        NULL);
    if (RVAL2CBOOL(rb_option_id)) {
        VALUE rb_id;
        rb_id = rb_current_key_or_id;
        return rb_grn_double_array_trie_update_by_id(self, rb_id, rb_new_key);
    } else {
        VALUE rb_current_key;
        rb_current_key = rb_current_key_or_id;
        return rb_grn_double_array_trie_update_by_key(self,
                                                      rb_current_key,
                                                      rb_new_key);
    }
}