Branch data Line data Source code
1 : : /** @file brass_values.h
2 : : * @brief BrassValueManager class
3 : : */
4 : : /* Copyright (C) 2008,2009 Olly Betts
5 : : * Copyright (C) 2008 Lemur Consulting Ltd
6 : : *
7 : : * This program is free software; you can redistribute it and/or modify
8 : : * it under the terms of the GNU General Public License as published by
9 : : * the Free Software Foundation; either version 2 of the License, or
10 : : * (at your option) any later version.
11 : : *
12 : : * This program is distributed in the hope that it will be useful,
13 : : * but WITHOUT ANY WARRANTY; without even the implied warranty of
14 : : * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
15 : : * GNU General Public License for more details.
16 : : *
17 : : * You should have received a copy of the GNU General Public License
18 : : * along with this program; if not, write to the Free Software
19 : : * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA
20 : : */
21 : :
22 : : #ifndef XAPIAN_INCLUDED_BRASS_VALUES_H
23 : : #define XAPIAN_INCLUDED_BRASS_VALUES_H
24 : :
25 : : #include "pack.h"
26 : : #include "valuestats.h"
27 : :
28 : : #include "xapian/error.h"
29 : : #include "xapian/types.h"
30 : :
31 : : #include <map>
32 : : #include <string>
33 : :
34 : : namespace Brass {
35 : :
36 : : /** Generate a key for a value stream chunk. */
37 : : inline std::string
38 : 2016908 : make_valuechunk_key(Xapian::valueno slot, Xapian::docid did)
39 : : {
40 : 2016908 : std::string key("\0\xd8", 2);
41 : 2016908 : pack_uint(key, slot);
42 : 2016908 : pack_uint_preserving_sort(key, did);
43 : 0 : return key;
44 : : }
45 : :
46 : : inline Xapian::docid
47 : 348950 : docid_from_key(Xapian::valueno required_slot, const std::string & key)
48 : : {
49 : 348950 : const char * p = key.data();
50 : 348950 : const char * end = p + key.length();
51 : : // Fail if not a value chunk key.
52 [ + + + + ]: 348950 : if (end - p < 2 || *p++ != '\0' || *p++ != '\xd8') return 0;
[ + + ][ + + ]
53 : : Xapian::valueno slot;
54 [ - + ]: 345229 : if (!unpack_uint(&p, end, &slot))
55 : 0 : throw Xapian::DatabaseCorruptError("bad value key");
56 : : // Fail if for a different slot.
57 [ + + ]: 345229 : if (slot != required_slot) return 0;
58 : : Xapian::docid did;
59 [ - + ]: 15149 : if (!unpack_uint_preserving_sort(&p, end, &did))
60 : 0 : throw Xapian::DatabaseCorruptError("bad value key");
61 : 348950 : return did;
62 : : }
63 : :
64 : : }
65 : :
66 : : namespace Xapian {
67 : : class Document;
68 : : }
69 : :
70 : : class BrassPostListTable;
71 : : class BrassTermListTable;
72 : : struct ValueStats;
73 : :
74 : 2208 : class BrassValueManager {
75 : : /** The value number for the most recently used value statistics.
76 : : *
77 : : * Set to Xapian::BAD_VALUENO if no value statistics are currently
78 : : * cached.
79 : : */
80 : : mutable Xapian::valueno mru_valno;
81 : :
82 : : /** The most recently used value statistics. */
83 : : mutable ValueStats mru_valstats;
84 : :
85 : : BrassPostListTable * postlist_table;
86 : :
87 : : BrassTermListTable * termlist_table;
88 : :
89 : : std::map<Xapian::docid, std::string> slots;
90 : :
91 : : std::map<Xapian::valueno, std::map<Xapian::docid, std::string> > changes;
92 : :
93 : : void add_value(Xapian::docid did, Xapian::valueno slot,
94 : : const std::string & val);
95 : :
96 : : void remove_value(Xapian::docid did, Xapian::valueno slot);
97 : :
98 : : Xapian::docid get_chunk_containing_did(Xapian::valueno slot,
99 : : Xapian::docid did,
100 : : std::string &chunk) const;
101 : :
102 : : /** Get the statistics for value slot @a slot. */
103 : : void get_value_stats(Xapian::valueno slot) const;
104 : :
105 : : void get_value_stats(Xapian::valueno slot, ValueStats & stats) const;
106 : :
107 : : public:
108 : : /** Create a new BrassValueManager object. */
109 : 2208 : BrassValueManager(BrassPostListTable * postlist_table_,
110 : : BrassTermListTable * termlist_table_)
111 : : : mru_valno(Xapian::BAD_VALUENO),
112 : : postlist_table(postlist_table_),
113 : 2208 : termlist_table(termlist_table_) { }
114 : :
115 : : // Merge in batched-up changes.
116 : : void merge_changes();
117 : :
118 : : void add_document(Xapian::docid did, const Xapian::Document &doc,
119 : : std::map<Xapian::valueno, ValueStats> & value_stats);
120 : :
121 : : void delete_document(Xapian::docid did,
122 : : std::map<Xapian::valueno, ValueStats> & value_stats);
123 : :
124 : : void replace_document(Xapian::docid did, const Xapian::Document &doc,
125 : : std::map<Xapian::valueno, ValueStats> & value_stats);
126 : :
127 : : std::string get_value(Xapian::docid did, Xapian::valueno slot) const;
128 : :
129 : : void get_all_values(std::map<Xapian::valueno, std::string> & values,
130 : : Xapian::docid did) const;
131 : :
132 : 192 : Xapian::doccount get_value_freq(Xapian::valueno slot) const {
133 [ + + ]: 192 : if (mru_valno != slot) get_value_stats(slot);
134 : 192 : return mru_valstats.freq;
135 : : }
136 : :
137 : 1048 : std::string get_value_lower_bound(Xapian::valueno slot) const {
138 [ + + ]: 1048 : if (mru_valno != slot) get_value_stats(slot);
139 : 1048 : return mru_valstats.lower_bound;
140 : : }
141 : :
142 : 975 : std::string get_value_upper_bound(Xapian::valueno slot) const {
143 [ + + ]: 975 : if (mru_valno != slot) get_value_stats(slot);
144 : 975 : return mru_valstats.upper_bound;
145 : : }
146 : :
147 : : /** Write the updated statistics to the table.
148 : : *
149 : : * If the @a freq member of the statistics for a particular slot is 0, the
150 : : * statistics for that slot will be cleared.
151 : : *
152 : : * @param value_stats The statistics to set.
153 : : */
154 : : void set_value_stats(std::map<Xapian::valueno, ValueStats> & value_stats);
155 : :
156 : 1924 : void reset() {
157 : : /// Ignore any old cached valuestats.
158 : 1924 : mru_valno = Xapian::BAD_VALUENO;
159 : 1924 : }
160 : :
161 : 690 : bool is_modified() const {
162 : 690 : return !changes.empty();
163 : : }
164 : :
165 : 152 : void cancel() {
166 : : // Discard batched-up changes.
167 : 152 : slots.clear();
168 : 152 : changes.clear();
169 : 152 : }
170 : : };
171 : :
172 : : namespace Brass {
173 : :
174 : 1835906 : class ValueChunkReader {
175 : : const char *p;
176 : : const char *end;
177 : :
178 : : Xapian::docid did;
179 : :
180 : : std::string value;
181 : :
182 : : public:
183 : : /// Create a ValueChunkReader which is already at_end().
184 : 168845 : ValueChunkReader() : p(NULL) { }
185 : :
186 : 1667061 : ValueChunkReader(const char * p_, size_t len, Xapian::docid did_) {
187 : 1667061 : assign(p_, len, did_);
188 : 1667061 : }
189 : :
190 : : void assign(const char * p_, size_t len, Xapian::docid did_);
191 : :
192 : 2564858 : bool at_end() const { return p == NULL; }
193 : :
194 : 1783154 : Xapian::docid get_docid() const { return did; }
195 : :
196 : 1752786 : const std::string & get_value() const { return value; }
197 : :
198 : : void next();
199 : :
200 : : void skip_to(Xapian::docid target);
201 : : };
202 : :
203 : : }
204 : :
205 : : #endif // XAPIAN_INCLUDED_BRASS_VALUES_H
|
