diff --git a/deduped/README.md b/deduped/README.md
index 45d7746..842b0e6 100644
--- a/deduped/README.md
+++ b/deduped/README.md
@@ -8,3 +8,39 @@
If the all of the raw data of one language is too big to fit into memory we have to shard the raw into multiple files. This is usually done with English.
Before the sharding we do some minor processing of the raw data which removes lines with the document delimiter hash (df6fa1abb58549287111ba8d776733e9),
strip leading and trailing white space and remove lines with invalid UTF-8.
+
+## Running the scripts
+
+### Deduping without sharding
+
+Let's assume that all the raw files you want to dedupe are in `/path/to/raw` and are named `${language_code}.raw.2017_17.xz`. You want to store the new
+deduped files at `/path/to/deduped` and each language already has a deduped file at with the name `/path/to/${language_code}.deduped.xz`. Then deduping
+all languages in parallel can be done with:
+```bash
+cat language.codes | parallel ./dedupe.sh /path/to/raw/{}.2017_17.raw.xz /path/to/deduped {} /path/to/{}.deduped.xz
+```
+Here `language.codes` is a a list of the language codes that we want to deduped separated by newline. Note that the command also works if some languages
+don't already have a file at `/path/to/${language_code}.deduped.xz`.
+
+### Deduping with sharding
+
+NOTE: By default the sharding assumes that we are working on English data and shard into 100 files. However it should be trivial to add the language
+code as an argument.
+
+Sharding the files:
+```bash
+./shard_fifo.sh /path/to/raw_files /path/to/fifos
+```
+
+Then open a new shell on the same machine and run:
+```bash
+seq 0 99 | parallel -j100 ./compress_shard.sh {} /path/to/fifos /path/to/shards
+```
+Here `/path/to/shards` is the output directory. It is important that you start all 100 jobs at once and that all of them are running on the same machine
+otherwise the FIFOs don't work.
+
+Now dedupe the sharded files:
+```bash
+seq 0 99 | parallel ./dedupe_from_shard.sh {} /path/to/shards /path/to/previous_deduped_files /path/to/outdir
+```
+
diff --git a/deduped/dedupe.sh b/deduped/dedupe.sh
new file mode 100755
index 0000000..c4bd0db
--- /dev/null
+++ b/deduped/dedupe.sh
@@ -0,0 +1,31 @@
+#!/bin/bash
+
+# Exit as soon as any command fails.
+set -e
+set -o pipefail
+
+# Parallel command:
+# cat language.codes | parallel ./dedupe.sh ${infile} ${outdir} {} ${previous_deduped}
+
+DEDUPE_BIN=/fs/zisa0/tim/dev/preprocess/bin/commoncrawl_dedupe
+
+INFILE="$1"
+OUTDIR="$2"
+LANGUAGE="$3"
+PREVIOUS_DEDUPED="$4"
+
+OUTFILE="${OUTDIR}/${LANGUAGE}.deduped.xz"
+DONEFILE="${OUTFILE}.done"
+
+if [[ -f ${DONEFILE} ]]; then
+ exit 0
+fi
+
+if [[ -f ${DEDUPEDFILE} ]]; then
+ xz -cd "${INFILE}" | ${DEDUPE_BIN} "${PREVIOUS_DEDUPED}" | xz -c > "${OUTFILE}"
+else
+ xz -cd "${INFILE}" | ${DEDUPE_BIN} /dev/null | xz -c > "${OUTFILE}"
+fi
+
+touch "${DONEFILE}"
+
diff --git a/deduped/dedupe_from_shard.sh b/deduped/dedupe_from_shard.sh
new file mode 100755
index 0000000..e040b06
--- /dev/null
+++ b/deduped/dedupe_from_shard.sh
@@ -0,0 +1,33 @@
+#!/bin/bash
+
+set -e
+set -o pipefail
+
+# Parallel command:
+# seq 0 99 | parallel ./dedupe_from_shard.sh {} ${shard_dir} ${previous_deduped_dir} ${out_dir}
+
+DEDUPE_BIN=/fs/zisa0/tim/dev/preprocess/bin/commoncrawl_dedupe
+
+# Non-zero padded id.
+ID="$1"
+SHARD_DIR="$2"
+PREVIOUS_DEDUPED_DIR="$3"
+OUT_DIR="$4"
+
+# The sharded from https://github.com/kpu/preprocess uses non-zero padded ids for the shard. But the
+# deduped files uses zero padded ids.
+PADDED_ID=$(printf "%02d" ${ID})
+INPUT_FILE="${SHARD_DIR}/en.tmp${ID}.gz"
+OUTPUT_FILE="${OUT_DIR}/en.${PADDED_ID}.deduped.xz"
+DONEFILE="${OUTPUT_FILE}.done"
+
+PREVIOUS_DEDUPED_FILE="${PREVIOUS_DEDUPED_DIR}/en.${PADDED_ID}.deduped.xz"
+
+if [[ -f "${DONEFILE}" ]]; then
+ exit 0
+fi
+
+
+gzip -cd "${INPUT_FILE}" | ${DEDUPE_BIN} "${PREVIOUS_DEDUPED_FILE}" | xz > "${OUTPUT_FILE}"
+
+touch "${DONEFILE}"
diff --git a/deduped/dedupe_hash_table.sh b/deduped/dedupe_hash_table.sh
new file mode 100755
index 0000000..5c54b1a
--- /dev/null
+++ b/deduped/dedupe_hash_table.sh
@@ -0,0 +1,35 @@
+#!/bin/bash
+
+# Exit as soon as any command fails.
+set -e
+set -o pipefail
+
+# Parallel command:
+# cat language.codes | parallel ./dedupe_hash_table.sh ${infile} ${outdir} {} ${src_hash_table} ${out_hash_table} ${previous_deduped}
+
+DEDUPE_BIN=/fs/zisa/tim/dev/preprocess/bin/commoncrawl_dedupe_save_table
+
+INFILE="$1"
+OUTDIR="$2"
+LANGUAGE="$3"
+SRC_HASH_TABLE="$4"
+OUT_HASH_TABLE="$5"
+PREVIOUS_DEDUPED="$6"
+
+OUTFILE="${OUTDIR}/${LANGUAGE}.deduped.xz"
+DONEFILE="${OUTFILE}.done"
+
+if [[ -f ${DONEFILE} ]]; then
+ exit 0
+fi
+
+if [[ -f ${PREVIOUS_DEDUPED} ]]; then
+ xz -cd ${INFILE} | ${DEDUPE_BIN} "${PREVIOUS_DEDUPED}" "${SRC_HASH_TABLE}" "${OUT_HASH_TABLE}" | \
+ /fs/zisa0/tim/bin/xz -T 6 -c > "${OUTFILE}"
+else
+ xz -cd ${INFILE} | ${DEDUPE_BIN} /dev/null "${SRC_HASH_TABLE}" "${OUT_HASH_TABLE}" | \
+ /fs/zisa0/tim/bin/xz -T 6 -c > "${OUTFILE}"
+fi
+
+touch "${DONEFILE}"
+
diff --git a/deduped/deduped_from_shard.sh b/deduped/deduped_from_shard.sh
deleted file mode 100755
index ee82961..0000000
--- a/deduped/deduped_from_shard.sh
+++ /dev/null
@@ -1,30 +0,0 @@
-#!/bin/bash
-
-set -e
-set -o pipefail
-
-# Non-zero padded id.
-ID="$1"
-SHARD_DIR="$2"
-PREVIOUS_DEDUPED_DIR="$3"
-OUT_DIR="$4"
-
-PREPROCESS_DIR="/fs/zisa0/tim/dev/preprocess/bin"
-
-PADDED_ID=$(printf "%02d" ${ID})
-INPUT_FILE="${SHARD_DIR}/en.tmp${ID}"
-OUTPUT_FILE="${OUT_DIR}/en.${PADDED_ID}.deduped.xz"
-DONEFILE="${OUTPUT_FILE}.done"
-
-PREVIOUS_DEDUPED_FILE="${PREVIOUS_DEDUPED_DIR}/en.${PADDED_ID}.deduped.xz"
-
-if [[ -f "${DONEFILE}" ]]; then
- exit 0
-fi
-
-
-<"${INPUT_FILE}" ${PREPROCESS_DIR}/commoncrawl_dedupe ${PREVIOUS_DEDUPED_FILE} | xz > "${OUTPUT_FILE}"
-
-rm "${INPUT_FILE}"
-
-touch "${DONEFILE}"
diff --git a/deduped/update_deduped_data.sh b/deduped/update_deduped_data.sh
new file mode 100755
index 0000000..e6d56b7
--- /dev/null
+++ b/deduped/update_deduped_data.sh
@@ -0,0 +1,22 @@
+#!/bin/bash
+
+# Exit as soon as any command fails.
+set -e
+set -o pipefail
+
+DEDUPED="$1"
+NEW_DEDUPED="$2"
+OFFSET_FILE="$3"
+CRAWL_ID="$4"
+
+# NOTE: Offset file format (one file for each language). Offset shows where each crawl ends.
+# Each crawl begins at the offset from the previous line.
+# {Crawl_ID} {offset1}
+# {Crawl_ID} {offset2}
+
+# Concat old deduped and new deduped.
+cat "${NEW_DEDUPED}" >> "${DEDUPED}"
+
+# Write new size to offset file.
+NEW_SIZE=$(stat --printf="%s" "${DEDUPED}")
+echo "${CRAWL_ID} ${NEW_SIZE}" >> "${OFFSET_FILE}"
diff --git a/s3/index_files/index_lm.html b/s3/index_files/index_lm.html
deleted file mode 100644
index 4fddcb1..0000000
--- a/s3/index_files/index_lm.html
+++ /dev/null
@@ -1,18 +0,0 @@
-
-
-
- Language Models
-
-
-
-Language Models
-
-
-
diff --git a/s3/index_files/index_raw.html b/s3/index_files/index_raw.html
deleted file mode 100644
index 6464843..0000000
--- a/s3/index_files/index_raw.html
+++ /dev/null
@@ -1,926 +0,0 @@
-
-
-
- Raw CommonCrawl
-
-
-
-Raw CommonCrawl
-
-
-
diff --git a/s3/index_files/raw_links b/s3/index_files/raw_links
deleted file mode 100644
index 2aaae22..0000000
--- a/s3/index_files/raw_links
+++ /dev/null
@@ -1,914 +0,0 @@
-aa.2012.00.raw.xz
-aa.2013_1.00.raw.xz
-aa.2013_2.00.raw.xz
-aa.2014_1.00.raw.xz
-ab.2012.00.raw.xz
-ab.2013_1.00.raw.xz
-ab.2013_2.00.raw.xz
-ab.2014_1.00.raw.xz
-af.2012.00.raw.xz
-af.2013_1.00.raw.xz
-af.2013_2.00.raw.xz
-af.2014_1.00.raw.xz
-ak.2012.00.raw.xz
-ak.2013_1.00.raw.xz
-ak.2013_2.00.raw.xz
-ak.2014_1.00.raw.xz
-am.2012.00.raw.xz
-am.2013_1.00.raw.xz
-am.2013_2.00.raw.xz
-am.2014_1.00.raw.xz
-ar.2012.00.raw.xz
-ar.2013_1.00.raw.xz
-ar.2013_2.00.raw.xz
-ar.2014_1.00.raw.xz
-as.2012.00.raw.xz
-as.2013_1.00.raw.xz
-as.2013_2.00.raw.xz
-as.2014_1.00.raw.xz
-ay.2012.00.raw.xz
-ay.2013_1.00.raw.xz
-ay.2013_2.00.raw.xz
-ay.2014_1.00.raw.xz
-az.2012.00.raw.xz
-az.2013_1.00.raw.xz
-az.2013_2.00.raw.xz
-az.2014_1.00.raw.xz
-ba.2012.00.raw.xz
-ba.2013_1.00.raw.xz
-ba.2013_2.00.raw.xz
-ba.2014_1.00.raw.xz
-be.2012.00.raw.xz
-be.2013_1.00.raw.xz
-be.2013_2.00.raw.xz
-be.2014_1.00.raw.xz
-bg.2012.00.raw.xz
-bg.2013_1.00.raw.xz
-bg.2013_2.00.raw.xz
-bg.2014_1.00.raw.xz
-bh.2012.00.raw.xz
-bh.2013_1.00.raw.xz
-bh.2013_2.00.raw.xz
-bh.2014_1.00.raw.xz
-bi.2012.00.raw.xz
-bi.2013_1.00.raw.xz
-bi.2013_2.00.raw.xz
-bi.2014_1.00.raw.xz
-blu.2012.00.raw.xz
-blu.2013_1.00.raw.xz
-blu.2013_2.00.raw.xz
-blu.2014_1.00.raw.xz
-bn.2012.00.raw.xz
-bn.2013_1.00.raw.xz
-bn.2013_2.00.raw.xz
-bn.2014_1.00.raw.xz
-bo.2012.00.raw.xz
-bo.2013_1.00.raw.xz
-bo.2013_2.00.raw.xz
-bo.2014_1.00.raw.xz
-br.2012.00.raw.xz
-br.2013_1.00.raw.xz
-br.2013_2.00.raw.xz
-br.2014_1.00.raw.xz
-bs.2012.00.raw.xz
-bs.2013_1.00.raw.xz
-bs.2013_2.00.raw.xz
-bs.2014_1.00.raw.xz
-ca.2012.00.raw.xz
-ca.2013_1.00.raw.xz
-ca.2013_2.00.raw.xz
-ca.2014_1.00.raw.xz
-ceb.2012.00.raw.xz
-ceb.2013_1.00.raw.xz
-ceb.2013_2.00.raw.xz
-ceb.2014_1.00.raw.xz
-chr.2012.00.raw.xz
-chr.2013_1.00.raw.xz
-chr.2013_2.00.raw.xz
-chr.2014_1.00.raw.xz
-co.2012.00.raw.xz
-co.2013_1.00.raw.xz
-co.2013_2.00.raw.xz
-co.2014_1.00.raw.xz
-crs.2012.00.raw.xz
-crs.2013_1.00.raw.xz
-crs.2013_2.00.raw.xz
-crs.2014_1.00.raw.xz
-cs.2012.00.raw.xz
-cs.2013_1.00.raw.xz
-cs.2013_2.00.raw.xz
-cs.2014_1.00.raw.xz
-cy.2012.00.raw.xz
-cy.2013_1.00.raw.xz
-cy.2013_2.00.raw.xz
-cy.2014_1.00.raw.xz
-da.2012.00.raw.xz
-da.2013_1.00.raw.xz
-da.2013_2.00.raw.xz
-da.2014_1.00.raw.xz
-de.2012.00.raw.xz
-de.2013_1.00.raw.xz
-de.2013_2.00.raw.xz
-de.2014_1.00.raw.xz
-dv.2012.00.raw.xz
-dv.2013_1.00.raw.xz
-dv.2013_2.00.raw.xz
-dv.2014_1.00.raw.xz
-dz.2012.00.raw.xz
-dz.2013_1.00.raw.xz
-dz.2013_2.00.raw.xz
-dz.2014_1.00.raw.xz
-el.2012.00.raw.xz
-el.2013_1.00.raw.xz
-el.2013_2.00.raw.xz
-el.2014_1.00.raw.xz
-eo.2012.00.raw.xz
-eo.2013_1.00.raw.xz
-eo.2013_2.00.raw.xz
-eo.2014_1.00.raw.xz
-es.2012.00.raw.xz
-es.2013_1.00.raw.xz
-es.2013_2.00.raw.xz
-es.2014_1.00.raw.xz
-et.2012.00.raw.xz
-et.2013_1.00.raw.xz
-et.2013_2.00.raw.xz
-et.2014_1.00.raw.xz
-eu.2012.00.raw.xz
-eu.2013_1.00.raw.xz
-eu.2013_2.00.raw.xz
-eu.2014_1.00.raw.xz
-fa.2012.00.raw.xz
-fa.2013_1.00.raw.xz
-fa.2013_2.00.raw.xz
-fa.2014_1.00.raw.xz
-fi.2012.00.raw.xz
-fi.2013_1.00.raw.xz
-fi.2013_2.00.raw.xz
-fi.2014_1.00.raw.xz
-fj.2012.00.raw.xz
-fj.2013_1.00.raw.xz
-fj.2013_2.00.raw.xz
-fj.2014_1.00.raw.xz
-fo.2012.00.raw.xz
-fo.2013_1.00.raw.xz
-fo.2013_2.00.raw.xz
-fo.2014_1.00.raw.xz
-fr.2012.00.raw.xz
-fr.2013_1.00.raw.xz
-fr.2013_2.00.raw.xz
-fr.2014_1.00.raw.xz
-fy.2012.00.raw.xz
-fy.2013_1.00.raw.xz
-fy.2013_2.00.raw.xz
-fy.2014_1.00.raw.xz
-ga.2012.00.raw.xz
-ga.2013_1.00.raw.xz
-ga.2013_2.00.raw.xz
-ga.2014_1.00.raw.xz
-gd.2012.00.raw.xz
-gd.2013_1.00.raw.xz
-gd.2013_2.00.raw.xz
-gd.2014_1.00.raw.xz
-gl.2012.00.raw.xz
-gl.2013_1.00.raw.xz
-gl.2013_2.00.raw.xz
-gl.2014_1.00.raw.xz
-gn.2012.00.raw.xz
-gn.2013_1.00.raw.xz
-gn.2013_2.00.raw.xz
-gn.2014_1.00.raw.xz
-gu.2012.00.raw.xz
-gu.2013_1.00.raw.xz
-gu.2013_2.00.raw.xz
-gu.2014_1.00.raw.xz
-gv.2012.00.raw.xz
-gv.2013_1.00.raw.xz
-gv.2013_2.00.raw.xz
-gv.2014_1.00.raw.xz
-ha.2012.00.raw.xz
-ha.2013_1.00.raw.xz
-ha.2013_2.00.raw.xz
-ha.2014_1.00.raw.xz
-haw.2012.00.raw.xz
-haw.2013_1.00.raw.xz
-haw.2013_2.00.raw.xz
-haw.2014_1.00.raw.xz
-hi.2012.00.raw.xz
-hi.2013_1.00.raw.xz
-hi.2013_2.00.raw.xz
-hi.2014_1.00.raw.xz
-hr.2012.00.raw.xz
-hr.2013_1.00.raw.xz
-hr.2013_2.00.raw.xz
-hr.2014_1.00.raw.xz
-ht.2012.00.raw.xz
-ht.2013_1.00.raw.xz
-ht.2013_2.00.raw.xz
-ht.2014_1.00.raw.xz
-hu.2012.00.raw.xz
-hu.2013_1.00.raw.xz
-hu.2013_2.00.raw.xz
-hu.2014_1.00.raw.xz
-hy.2012.00.raw.xz
-hy.2013_1.00.raw.xz
-hy.2013_2.00.raw.xz
-hy.2014_1.00.raw.xz
-ia.2012.00.raw.xz
-ia.2013_1.00.raw.xz
-ia.2013_2.00.raw.xz
-ia.2014_1.00.raw.xz
-id.2012.00.raw.xz
-id.2013_1.00.raw.xz
-id.2013_2.00.raw.xz
-id.2014_1.00.raw.xz
-ie.2012.00.raw.xz
-ie.2013_1.00.raw.xz
-ie.2013_2.00.raw.xz
-ie.2014_1.00.raw.xz
-ig.2012.00.raw.xz
-ig.2013_1.00.raw.xz
-ig.2013_2.00.raw.xz
-ig.2014_1.00.raw.xz
-ik.2012.00.raw.xz
-ik.2013_1.00.raw.xz
-ik.2013_2.00.raw.xz
-ik.2014_1.00.raw.xz
-is.2012.00.raw.xz
-is.2013_1.00.raw.xz
-is.2013_2.00.raw.xz
-is.2014_1.00.raw.xz
-it.2012.00.raw.xz
-it.2013_1.00.raw.xz
-it.2013_2.00.raw.xz
-it.2014_1.00.raw.xz
-iu.2012.00.raw.xz
-iu.2013_1.00.raw.xz
-iu.2013_2.00.raw.xz
-iu.2014_1.00.raw.xz
-iw.2012.00.raw.xz
-iw.2013_1.00.raw.xz
-iw.2013_2.00.raw.xz
-iw.2014_1.00.raw.xz
-ja.2012.00.raw.xz
-ja.2013_1.00.raw.xz
-ja.2013_2.00.raw.xz
-ja.2014_1.00.raw.xz
-jw.2012.00.raw.xz
-jw.2013_1.00.raw.xz
-jw.2013_2.00.raw.xz
-jw.2014_1.00.raw.xz
-ka.2012.00.raw.xz
-ka.2013_1.00.raw.xz
-ka.2013_2.00.raw.xz
-ka.2014_1.00.raw.xz
-kha.2012.00.raw.xz
-kha.2013_1.00.raw.xz
-kha.2013_2.00.raw.xz
-kha.2014_1.00.raw.xz
-kk.2012.00.raw.xz
-kk.2013_1.00.raw.xz
-kk.2013_2.00.raw.xz
-kk.2014_1.00.raw.xz
-kl.2012.00.raw.xz
-kl.2013_1.00.raw.xz
-kl.2013_2.00.raw.xz
-kl.2014_1.00.raw.xz
-km.2012.00.raw.xz
-km.2013_1.00.raw.xz
-km.2013_2.00.raw.xz
-km.2014_1.00.raw.xz
-kn.2012.00.raw.xz
-kn.2013_1.00.raw.xz
-kn.2013_2.00.raw.xz
-kn.2014_1.00.raw.xz
-ko.2012.00.raw.xz
-ko.2013_1.00.raw.xz
-ko.2013_2.00.raw.xz
-ko.2014_1.00.raw.xz
-ks.2012.00.raw.xz
-ks.2013_1.00.raw.xz
-ks.2013_2.00.raw.xz
-ks.2014_1.00.raw.xz
-ku.2012.00.raw.xz
-ku.2013_1.00.raw.xz
-ku.2013_2.00.raw.xz
-ku.2014_1.00.raw.xz
-ky.2012.00.raw.xz
-ky.2013_1.00.raw.xz
-ky.2013_2.00.raw.xz
-ky.2014_1.00.raw.xz
-la.2012.00.raw.xz
-la.2013_1.00.raw.xz
-la.2013_2.00.raw.xz
-la.2014_1.00.raw.xz
-lb.2012.00.raw.xz
-lb.2013_1.00.raw.xz
-lb.2013_2.00.raw.xz
-lb.2014_1.00.raw.xz
-lg.2012.00.raw.xz
-lg.2013_1.00.raw.xz
-lg.2013_2.00.raw.xz
-lg.2014_1.00.raw.xz
-lif.2012.00.raw.xz
-lif.2013_1.00.raw.xz
-lif.2013_2.00.raw.xz
-lif.2014_1.00.raw.xz
-ln.2012.00.raw.xz
-ln.2013_1.00.raw.xz
-ln.2013_2.00.raw.xz
-ln.2014_1.00.raw.xz
-lo.2012.00.raw.xz
-lo.2013_1.00.raw.xz
-lo.2013_2.00.raw.xz
-lo.2014_1.00.raw.xz
-lt.2012.00.raw.xz
-lt.2013_1.00.raw.xz
-lt.2013_2.00.raw.xz
-lt.2014_1.00.raw.xz
-lv.2012.00.raw.xz
-lv.2013_1.00.raw.xz
-lv.2013_2.00.raw.xz
-lv.2014_1.00.raw.xz
-mfe.2012.00.raw.xz
-mfe.2013_1.00.raw.xz
-mfe.2013_2.00.raw.xz
-mfe.2014_1.00.raw.xz
-mg.2012.00.raw.xz
-mg.2013_1.00.raw.xz
-mg.2013_2.00.raw.xz
-mg.2014_1.00.raw.xz
-mi.2012.00.raw.xz
-mi.2013_1.00.raw.xz
-mi.2013_2.00.raw.xz
-mi.2014_1.00.raw.xz
-mk.2012.00.raw.xz
-mk.2013_1.00.raw.xz
-mk.2013_2.00.raw.xz
-mk.2014_1.00.raw.xz
-ml.2012.00.raw.xz
-ml.2013_1.00.raw.xz
-ml.2013_2.00.raw.xz
-ml.2014_1.00.raw.xz
-mn.2012.00.raw.xz
-mn.2013_1.00.raw.xz
-mn.2013_2.00.raw.xz
-mn.2014_1.00.raw.xz
-mr.2012.00.raw.xz
-mr.2013_1.00.raw.xz
-mr.2013_2.00.raw.xz
-mr.2014_1.00.raw.xz
-ms.2012.00.raw.xz
-ms.2013_1.00.raw.xz
-ms.2013_2.00.raw.xz
-ms.2014_1.00.raw.xz
-mt.2012.00.raw.xz
-mt.2013_1.00.raw.xz
-mt.2013_2.00.raw.xz
-mt.2014_1.00.raw.xz
-my.2012.00.raw.xz
-my.2013_1.00.raw.xz
-my.2013_2.00.raw.xz
-my.2014_1.00.raw.xz
-na.2012.00.raw.xz
-na.2013_1.00.raw.xz
-na.2013_2.00.raw.xz
-na.2014_1.00.raw.xz
-ne.2012.00.raw.xz
-ne.2013_1.00.raw.xz
-ne.2013_2.00.raw.xz
-ne.2014_1.00.raw.xz
-nl.2012.00.raw.xz
-nl.2013_1.00.raw.xz
-nl.2013_2.00.raw.xz
-nl.2014_1.00.raw.xz
-nn.2012.00.raw.xz
-nn.2013_1.00.raw.xz
-nn.2013_2.00.raw.xz
-nn.2014_1.00.raw.xz
-no.2012.00.raw.xz
-no.2013_1.00.raw.xz
-no.2013_2.00.raw.xz
-no.2014_1.00.raw.xz
-nso.2012.00.raw.xz
-nso.2013_1.00.raw.xz
-nso.2013_2.00.raw.xz
-nso.2014_1.00.raw.xz
-ny.2012.00.raw.xz
-ny.2013_1.00.raw.xz
-ny.2013_2.00.raw.xz
-ny.2014_1.00.raw.xz
-oc.2012.00.raw.xz
-oc.2013_1.00.raw.xz
-oc.2013_2.00.raw.xz
-oc.2014_1.00.raw.xz
-om.2012.00.raw.xz
-om.2013_1.00.raw.xz
-om.2013_2.00.raw.xz
-om.2014_1.00.raw.xz
-or.2012.00.raw.xz
-or.2013_1.00.raw.xz
-or.2013_2.00.raw.xz
-or.2014_1.00.raw.xz
-pa.2012.00.raw.xz
-pa.2013_1.00.raw.xz
-pa.2013_2.00.raw.xz
-pa.2014_1.00.raw.xz
-pl.2012.00.raw.xz
-pl.2013_1.00.raw.xz
-pl.2013_2.00.raw.xz
-pl.2014_1.00.raw.xz
-ps.2012.00.raw.xz
-ps.2013_1.00.raw.xz
-ps.2013_2.00.raw.xz
-ps.2014_1.00.raw.xz
-pt.2012.00.raw.xz
-pt.2013_1.00.raw.xz
-pt.2013_2.00.raw.xz
-pt.2014_1.00.raw.xz
-qu.2012.00.raw.xz
-qu.2013_1.00.raw.xz
-qu.2013_2.00.raw.xz
-qu.2014_1.00.raw.xz
-rm.2012.00.raw.xz
-rm.2013_1.00.raw.xz
-rm.2013_2.00.raw.xz
-rm.2014_1.00.raw.xz
-rn.2012.00.raw.xz
-rn.2013_1.00.raw.xz
-rn.2013_2.00.raw.xz
-rn.2014_1.00.raw.xz
-ro.2012.00.raw.xz
-ro.2013_1.00.raw.xz
-ro.2013_2.00.raw.xz
-ro.2014_1.00.raw.xz
-ru.2012.00.raw.xz
-ru.2013_1.00.raw.xz
-ru.2013_2.00.raw.xz
-ru.2014_1.00.raw.xz
-rw.2012.00.raw.xz
-rw.2013_1.00.raw.xz
-rw.2013_2.00.raw.xz
-rw.2014_1.00.raw.xz
-sa.2012.00.raw.xz
-sa.2013_1.00.raw.xz
-sa.2013_2.00.raw.xz
-sa.2014_1.00.raw.xz
-sco.2012.00.raw.xz
-sco.2013_1.00.raw.xz
-sco.2013_2.00.raw.xz
-sco.2014_1.00.raw.xz
-sd.2012.00.raw.xz
-sd.2013_1.00.raw.xz
-sd.2013_2.00.raw.xz
-sd.2014_1.00.raw.xz
-sg.2012.00.raw.xz
-sg.2013_1.00.raw.xz
-sg.2013_2.00.raw.xz
-sg.2014_1.00.raw.xz
-si.2012.00.raw.xz
-si.2013_1.00.raw.xz
-si.2013_2.00.raw.xz
-si.2014_1.00.raw.xz
-sk.2012.00.raw.xz
-sk.2013_1.00.raw.xz
-sk.2013_2.00.raw.xz
-sk.2014_1.00.raw.xz
-sl.2012.00.raw.xz
-sl.2013_1.00.raw.xz
-sl.2013_2.00.raw.xz
-sl.2014_1.00.raw.xz
-sm.2012.00.raw.xz
-sm.2013_1.00.raw.xz
-sm.2013_2.00.raw.xz
-sm.2014_1.00.raw.xz
-sn.2012.00.raw.xz
-sn.2013_1.00.raw.xz
-sn.2013_2.00.raw.xz
-sn.2014_1.00.raw.xz
-so.2012.00.raw.xz
-so.2013_1.00.raw.xz
-so.2013_2.00.raw.xz
-so.2014_1.00.raw.xz
-sq.2012.00.raw.xz
-sq.2013_1.00.raw.xz
-sq.2013_2.00.raw.xz
-sq.2014_1.00.raw.xz
-sr.2012.00.raw.xz
-sr.2013_1.00.raw.xz
-sr.2013_2.00.raw.xz
-sr.2014_1.00.raw.xz
-sr-ME.2012.00.raw.xz
-sr-ME.2013_1.00.raw.xz
-sr-ME.2013_2.00.raw.xz
-sr-ME.2014_1.00.raw.xz
-ss.2012.00.raw.xz
-ss.2013_1.00.raw.xz
-ss.2013_2.00.raw.xz
-ss.2014_1.00.raw.xz
-st.2012.00.raw.xz
-st.2013_1.00.raw.xz
-st.2013_2.00.raw.xz
-st.2014_1.00.raw.xz
-su.2012.00.raw.xz
-su.2013_1.00.raw.xz
-su.2013_2.00.raw.xz
-su.2014_1.00.raw.xz
-sv.2012.00.raw.xz
-sv.2013_1.00.raw.xz
-sv.2013_2.00.raw.xz
-sv.2014_1.00.raw.xz
-sw.2012.00.raw.xz
-sw.2013_1.00.raw.xz
-sw.2013_2.00.raw.xz
-sw.2014_1.00.raw.xz
-syr.2012.00.raw.xz
-syr.2013_1.00.raw.xz
-syr.2013_2.00.raw.xz
-syr.2014_1.00.raw.xz
-ta.2012.00.raw.xz
-ta.2013_1.00.raw.xz
-ta.2013_2.00.raw.xz
-ta.2014_1.00.raw.xz
-te.2012.00.raw.xz
-te.2013_1.00.raw.xz
-te.2013_2.00.raw.xz
-te.2014_1.00.raw.xz
-tg.2012.00.raw.xz
-tg.2013_1.00.raw.xz
-tg.2013_2.00.raw.xz
-tg.2014_1.00.raw.xz
-th.2012.00.raw.xz
-th.2013_1.00.raw.xz
-th.2013_2.00.raw.xz
-th.2014_1.00.raw.xz
-ti.2012.00.raw.xz
-ti.2013_1.00.raw.xz
-ti.2013_2.00.raw.xz
-ti.2014_1.00.raw.xz
-tk.2012.00.raw.xz
-tk.2013_1.00.raw.xz
-tk.2013_2.00.raw.xz
-tk.2014_1.00.raw.xz
-tl.2012.00.raw.xz
-tl.2013_1.00.raw.xz
-tl.2013_2.00.raw.xz
-tl.2014_1.00.raw.xz
-tlh.2012.00.raw.xz
-tlh.2013_1.00.raw.xz
-tlh.2013_2.00.raw.xz
-tlh.2014_1.00.raw.xz
-tn.2012.00.raw.xz
-tn.2013_1.00.raw.xz
-tn.2013_2.00.raw.xz
-tn.2014_1.00.raw.xz
-to.2012.00.raw.xz
-to.2013_1.00.raw.xz
-to.2013_2.00.raw.xz
-to.2014_1.00.raw.xz
-tr.2012.00.raw.xz
-tr.2013_1.00.raw.xz
-tr.2013_2.00.raw.xz
-tr.2014_1.00.raw.xz
-ts.2012.00.raw.xz
-ts.2013_1.00.raw.xz
-ts.2013_2.00.raw.xz
-ts.2014_1.00.raw.xz
-tt.2012.00.raw.xz
-tt.2013_1.00.raw.xz
-tt.2013_2.00.raw.xz
-tt.2014_1.00.raw.xz
-ug.2012.00.raw.xz
-ug.2013_1.00.raw.xz
-ug.2013_2.00.raw.xz
-ug.2014_1.00.raw.xz
-uk.2012.00.raw.xz
-uk.2013_1.00.raw.xz
-uk.2013_2.00.raw.xz
-uk.2014_1.00.raw.xz
-un.2012.00.raw.xz
-un.2013_1.00.raw.xz
-ur.2012.00.raw.xz
-ur.2013_1.00.raw.xz
-ur.2013_2.00.raw.xz
-ur.2014_1.00.raw.xz
-uz.2012.00.raw.xz
-uz.2013_1.00.raw.xz
-uz.2013_2.00.raw.xz
-uz.2014_1.00.raw.xz
-ve.2012.00.raw.xz
-ve.2013_1.00.raw.xz
-ve.2013_2.00.raw.xz
-ve.2014_1.00.raw.xz
-vi.2012.00.raw.xz
-vi.2013_1.00.raw.xz
-vi.2013_2.00.raw.xz
-vi.2014_1.00.raw.xz
-vo.2012.00.raw.xz
-vo.2013_1.00.raw.xz
-vo.2013_2.00.raw.xz
-vo.2014_1.00.raw.xz
-war.2012.00.raw.xz
-war.2013_1.00.raw.xz
-war.2013_2.00.raw.xz
-war.2014_1.00.raw.xz
-wo.2012.00.raw.xz
-wo.2013_1.00.raw.xz
-wo.2013_2.00.raw.xz
-wo.2014_1.00.raw.xz
-xh.2012.00.raw.xz
-xh.2013_1.00.raw.xz
-xh.2013_2.00.raw.xz
-xh.2014_1.00.raw.xz
-xx-Armi.2012.00.raw.xz
-xx-Armi.2013_1.00.raw.xz
-xx-Armi.2013_2.00.raw.xz
-xx-Armi.2014_1.00.raw.xz
-xx-Avst.2012.00.raw.xz
-xx-Avst.2013_1.00.raw.xz
-xx-Avst.2013_2.00.raw.xz
-xx-Avst.2014_1.00.raw.xz
-xx-Bali.2012.00.raw.xz
-xx-Bali.2013_1.00.raw.xz
-xx-Bali.2013_2.00.raw.xz
-xx-Bali.2014_1.00.raw.xz
-xx-Bamu.2012.00.raw.xz
-xx-Bamu.2013_1.00.raw.xz
-xx-Bamu.2013_2.00.raw.xz
-xx-Bamu.2014_1.00.raw.xz
-xx-Batk.2012.00.raw.xz
-xx-Batk.2013_1.00.raw.xz
-xx-Batk.2013_2.00.raw.xz
-xx-Batk.2014_1.00.raw.xz
-xx-Bopo.2012.00.raw.xz
-xx-Bopo.2013_1.00.raw.xz
-xx-Bopo.2013_2.00.raw.xz
-xx-Bopo.2014_1.00.raw.xz
-xx-Brah.2012.00.raw.xz
-xx-Brah.2013_1.00.raw.xz
-xx-Brah.2013_2.00.raw.xz
-xx-Brah.2014_1.00.raw.xz
-xx-Bugi.2012.00.raw.xz
-xx-Bugi.2013_1.00.raw.xz
-xx-Bugi.2013_2.00.raw.xz
-xx-Bugi.2014_1.00.raw.xz
-xx-Buhd.2012.00.raw.xz
-xx-Buhd.2013_1.00.raw.xz
-xx-Buhd.2013_2.00.raw.xz
-xx-Buhd.2014_1.00.raw.xz
-xx-Cakm.2012.00.raw.xz
-xx-Cakm.2013_1.00.raw.xz
-xx-Cakm.2013_2.00.raw.xz
-xx-Cakm.2014_1.00.raw.xz
-xx-Cari.2012.00.raw.xz
-xx-Cari.2013_1.00.raw.xz
-xx-Cari.2013_2.00.raw.xz
-xx-Cari.2014_1.00.raw.xz
-xx-Cham.2012.00.raw.xz
-xx-Cham.2013_1.00.raw.xz
-xx-Cham.2013_2.00.raw.xz
-xx-Cham.2014_1.00.raw.xz
-xx-Copt.2012.00.raw.xz
-xx-Copt.2013_1.00.raw.xz
-xx-Copt.2013_2.00.raw.xz
-xx-Copt.2014_1.00.raw.xz
-xx-Cprt.2012.00.raw.xz
-xx-Cprt.2013_1.00.raw.xz
-xx-Cprt.2013_2.00.raw.xz
-xx-Cprt.2014_1.00.raw.xz
-xx-Dsrt.2012.00.raw.xz
-xx-Dsrt.2013_1.00.raw.xz
-xx-Dsrt.2013_2.00.raw.xz
-xx-Dsrt.2014_1.00.raw.xz
-xx-Egyp.2012.00.raw.xz
-xx-Egyp.2013_1.00.raw.xz
-xx-Egyp.2013_2.00.raw.xz
-xx-Egyp.2014_1.00.raw.xz
-xx-Glag.2012.00.raw.xz
-xx-Glag.2013_1.00.raw.xz
-xx-Glag.2013_2.00.raw.xz
-xx-Glag.2014_1.00.raw.xz
-xx-Goth.2012.00.raw.xz
-xx-Goth.2013_1.00.raw.xz
-xx-Goth.2013_2.00.raw.xz
-xx-Goth.2014_1.00.raw.xz
-xx-Hano.2012.00.raw.xz
-xx-Hano.2013_1.00.raw.xz
-xx-Hano.2013_2.00.raw.xz
-xx-Hano.2014_1.00.raw.xz
-xx-Ital.2012.00.raw.xz
-xx-Ital.2013_1.00.raw.xz
-xx-Ital.2013_2.00.raw.xz
-xx-Ital.2014_1.00.raw.xz
-xx-Java.2012.00.raw.xz
-xx-Java.2013_1.00.raw.xz
-xx-Java.2013_2.00.raw.xz
-xx-Java.2014_1.00.raw.xz
-xx-Kali.2012.00.raw.xz
-xx-Kali.2013_1.00.raw.xz
-xx-Kali.2013_2.00.raw.xz
-xx-Kali.2014_1.00.raw.xz
-xx-Khar.2012.00.raw.xz
-xx-Khar.2013_1.00.raw.xz
-xx-Khar.2013_2.00.raw.xz
-xx-Khar.2014_1.00.raw.xz
-xx-Kthi.2012.00.raw.xz
-xx-Kthi.2013_1.00.raw.xz
-xx-Kthi.2013_2.00.raw.xz
-xx-Kthi.2014_1.00.raw.xz
-xx-Lana.2012.00.raw.xz
-xx-Lana.2013_1.00.raw.xz
-xx-Lana.2013_2.00.raw.xz
-xx-Lana.2014_1.00.raw.xz
-xx-Lepc.2012.00.raw.xz
-xx-Lepc.2013_1.00.raw.xz
-xx-Lepc.2013_2.00.raw.xz
-xx-Lepc.2014_1.00.raw.xz
-xx-Linb.2012.00.raw.xz
-xx-Linb.2013_1.00.raw.xz
-xx-Linb.2013_2.00.raw.xz
-xx-Linb.2014_1.00.raw.xz
-xx-Lisu.2012.00.raw.xz
-xx-Lisu.2013_1.00.raw.xz
-xx-Lisu.2013_2.00.raw.xz
-xx-Lisu.2014_1.00.raw.xz
-xx-Lyci.2012.00.raw.xz
-xx-Lyci.2013_1.00.raw.xz
-xx-Lyci.2013_2.00.raw.xz
-xx-Lyci.2014_1.00.raw.xz
-xx-Lydi.2012.00.raw.xz
-xx-Lydi.2013_1.00.raw.xz
-xx-Lydi.2013_2.00.raw.xz
-xx-Lydi.2014_1.00.raw.xz
-xx-Mand.2012.00.raw.xz
-xx-Mand.2013_1.00.raw.xz
-xx-Mand.2013_2.00.raw.xz
-xx-Mand.2014_1.00.raw.xz
-xx-Merc.2012.00.raw.xz
-xx-Merc.2013_1.00.raw.xz
-xx-Merc.2013_2.00.raw.xz
-xx-Merc.2014_1.00.raw.xz
-xx-Mero.2012.00.raw.xz
-xx-Mero.2013_1.00.raw.xz
-xx-Mero.2013_2.00.raw.xz
-xx-Mero.2014_1.00.raw.xz
-xx-Mtei.2012.00.raw.xz
-xx-Mtei.2013_1.00.raw.xz
-xx-Mtei.2013_2.00.raw.xz
-xx-Mtei.2014_1.00.raw.xz
-xx-Nkoo.2012.00.raw.xz
-xx-Nkoo.2013_1.00.raw.xz
-xx-Nkoo.2013_2.00.raw.xz
-xx-Nkoo.2014_1.00.raw.xz
-xx-Ogam.2012.00.raw.xz
-xx-Ogam.2013_1.00.raw.xz
-xx-Ogam.2013_2.00.raw.xz
-xx-Ogam.2014_1.00.raw.xz
-xx-Olck.2012.00.raw.xz
-xx-Olck.2013_1.00.raw.xz
-xx-Olck.2013_2.00.raw.xz
-xx-Olck.2014_1.00.raw.xz
-xx-Orkh.2012.00.raw.xz
-xx-Orkh.2013_1.00.raw.xz
-xx-Orkh.2013_2.00.raw.xz
-xx-Orkh.2014_1.00.raw.xz
-xx-Osma.2012.00.raw.xz
-xx-Osma.2013_1.00.raw.xz
-xx-Osma.2013_2.00.raw.xz
-xx-Osma.2014_1.00.raw.xz
-xx-Phag.2012.00.raw.xz
-xx-Phag.2013_1.00.raw.xz
-xx-Phag.2013_2.00.raw.xz
-xx-Phag.2014_1.00.raw.xz
-xx-Phli.2012.00.raw.xz
-xx-Phli.2013_1.00.raw.xz
-xx-Phli.2013_2.00.raw.xz
-xx-Phli.2014_1.00.raw.xz
-xx-Phnx.2012.00.raw.xz
-xx-Phnx.2013_1.00.raw.xz
-xx-Phnx.2013_2.00.raw.xz
-xx-Phnx.2014_1.00.raw.xz
-xx-Plrd.2012.00.raw.xz
-xx-Plrd.2013_1.00.raw.xz
-xx-Plrd.2013_2.00.raw.xz
-xx-Plrd.2014_1.00.raw.xz
-xx-Prti.2012.00.raw.xz
-xx-Prti.2013_1.00.raw.xz
-xx-Prti.2013_2.00.raw.xz
-xx-Prti.2014_1.00.raw.xz
-xx-Qaai.2012.00.raw.xz
-xx-Qaai.2013_1.00.raw.xz
-xx-Qaai.2013_2.00.raw.xz
-xx-Qaai.2014_1.00.raw.xz
-xx-Rjng.2012.00.raw.xz
-xx-Rjng.2013_1.00.raw.xz
-xx-Rjng.2013_2.00.raw.xz
-xx-Rjng.2014_1.00.raw.xz
-xx-Runr.2012.00.raw.xz
-xx-Runr.2013_1.00.raw.xz
-xx-Runr.2013_2.00.raw.xz
-xx-Runr.2014_1.00.raw.xz
-xx-Samr.2012.00.raw.xz
-xx-Samr.2013_1.00.raw.xz
-xx-Samr.2013_2.00.raw.xz
-xx-Samr.2014_1.00.raw.xz
-xx-Sarb.2012.00.raw.xz
-xx-Sarb.2013_1.00.raw.xz
-xx-Sarb.2013_2.00.raw.xz
-xx-Sarb.2014_1.00.raw.xz
-xx-Saur.2012.00.raw.xz
-xx-Saur.2013_1.00.raw.xz
-xx-Saur.2013_2.00.raw.xz
-xx-Saur.2014_1.00.raw.xz
-xx-Shaw.2012.00.raw.xz
-xx-Shaw.2013_1.00.raw.xz
-xx-Shaw.2013_2.00.raw.xz
-xx-Shaw.2014_1.00.raw.xz
-xx-Shrd.2012.00.raw.xz
-xx-Shrd.2013_1.00.raw.xz
-xx-Shrd.2013_2.00.raw.xz
-xx-Shrd.2014_1.00.raw.xz
-xx-Sora.2012.00.raw.xz
-xx-Sora.2013_1.00.raw.xz
-xx-Sora.2013_2.00.raw.xz
-xx-Sora.2014_1.00.raw.xz
-xx-Sund.2012.00.raw.xz
-xx-Sund.2013_1.00.raw.xz
-xx-Sund.2013_2.00.raw.xz
-xx-Sund.2014_1.00.raw.xz
-xx-Sylo.2012.00.raw.xz
-xx-Sylo.2013_1.00.raw.xz
-xx-Sylo.2013_2.00.raw.xz
-xx-Sylo.2014_1.00.raw.xz
-xx-Tagb.2012.00.raw.xz
-xx-Tagb.2013_1.00.raw.xz
-xx-Tagb.2013_2.00.raw.xz
-xx-Tagb.2014_1.00.raw.xz
-xx-Takr.2012.00.raw.xz
-xx-Takr.2013_1.00.raw.xz
-xx-Takr.2013_2.00.raw.xz
-xx-Takr.2014_1.00.raw.xz
-xx-Tale.2012.00.raw.xz
-xx-Tale.2013_1.00.raw.xz
-xx-Tale.2013_2.00.raw.xz
-xx-Tale.2014_1.00.raw.xz
-xx-Talu.2012.00.raw.xz
-xx-Talu.2013_1.00.raw.xz
-xx-Talu.2013_2.00.raw.xz
-xx-Talu.2014_1.00.raw.xz
-xx-Tavt.2012.00.raw.xz
-xx-Tavt.2013_1.00.raw.xz
-xx-Tavt.2013_2.00.raw.xz
-xx-Tavt.2014_1.00.raw.xz
-xx-Tfng.2012.00.raw.xz
-xx-Tfng.2013_1.00.raw.xz
-xx-Tfng.2013_2.00.raw.xz
-xx-Tfng.2014_1.00.raw.xz
-xx-Ugar.2012.00.raw.xz
-xx-Ugar.2013_1.00.raw.xz
-xx-Ugar.2013_2.00.raw.xz
-xx-Ugar.2014_1.00.raw.xz
-xx-Vaii.2012.00.raw.xz
-xx-Vaii.2013_1.00.raw.xz
-xx-Vaii.2013_2.00.raw.xz
-xx-Vaii.2014_1.00.raw.xz
-xx-Xpeo.2012.00.raw.xz
-xx-Xpeo.2013_1.00.raw.xz
-xx-Xpeo.2013_2.00.raw.xz
-xx-Xpeo.2014_1.00.raw.xz
-xx-Xsux.2012.00.raw.xz
-xx-Xsux.2013_1.00.raw.xz
-xx-Xsux.2013_2.00.raw.xz
-xx-Xsux.2014_1.00.raw.xz
-xx-Yiii.2012.00.raw.xz
-xx-Yiii.2013_1.00.raw.xz
-xx-Yiii.2013_2.00.raw.xz
-xx-Yiii.2014_1.00.raw.xz
-yi.2012.00.raw.xz
-yi.2013_1.00.raw.xz
-yi.2013_2.00.raw.xz
-yi.2014_1.00.raw.xz
-yo.2012.00.raw.xz
-yo.2013_1.00.raw.xz
-yo.2013_2.00.raw.xz
-yo.2014_1.00.raw.xz
-za.2012.00.raw.xz
-za.2013_1.00.raw.xz
-za.2013_2.00.raw.xz
-za.2014_1.00.raw.xz
-zh.2012.00.raw.xz
-zh.2013_1.00.raw.xz
-zh.2013_2.00.raw.xz
-zh.2014_1.00.raw.xz
-zh-Hant.2012.00.raw.xz
-zh-Hant.2013_1.00.raw.xz
-zh-Hant.2013_2.00.raw.xz
-zh-Hant.2014_1.00.raw.xz
-zu.2012.00.raw.xz
-zu.2013_1.00.raw.xz
-zu.2013_2.00.raw.xz
-zu.2014_1.00.raw.xz
-zzp.2012.00.raw.xz
-zzp.2013_1.00.raw.xz
-zzp.2013_2.00.raw.xz
-zzp.2014_1.00.raw.xz