pykakasi dict installer

- now unihandecode/pykakasi dictionary will be generated 
    by calibre installer
  - the dictionaries are located resources/localization/pykakasi/*

setup/commands.py

@@ -11,7 +11,7 @@ __all__ = [
         'build', 'build_pdf2xml', 'server',
         'gui',
         'develop', 'install',
-        'resources',
+        'resources', 'pykakasi',
         'check',
         'sdist',
         'manual', 'tag_release',
@@ -52,6 +52,9 @@ check = Check()
 from setup.resources import Resources
 resources = Resources()
 
+from setup.pykakasi import Pykakasi
+pykakasi = Pykakasi()
+
 from setup.publish import Manual, TagRelease, Stage1, Stage2, \
         Stage3, Stage4, Publish
 manual = Manual()

setup/install.py

@@ -55,7 +55,7 @@ class Develop(Command):
     short_description = 'Setup a development environment for calibre'
     MODE = 0755
 
-    sub_commands = ['build', 'resources', 'gui']
+    sub_commands = ['build', 'resources', 'pykakasi', 'gui']
 
     def add_postinstall_options(self, parser):
         parser.add_option('--make-errors-fatal', action='store_true', default=False,
@@ -235,7 +235,7 @@ class Install(Develop):
     ''')
     short_description = 'Install calibre from source'
 
-    sub_commands = ['build', 'gui']
+    sub_commands = ['build', 'resources','pykakasi','gui']
 
     def add_options(self, parser):
         parser.add_option('--prefix', help='Installation prefix.')

setup/pykakasi.py

@@ -0,0 +1,118 @@
+#!/usr/bin/env python
+# vim:fileencoding=UTF-8:ts=4:sw=4:sta:et:sts=4:ai
+from __future__ import with_statement
+
+__license__   = 'GPL v3'
+__copyright__ = '2011, Hiroshi Miura <miurahr@linux.com>'
+__docformat__ = 'restructuredtext en'
+
+import os,re
+from cPickle import dump
+from marshal import dumps
+import anydbm
+from zlib import compress
+
+from setup import Command, basenames, __appname__
+
+class Pykakasi(Command):
+
+    records = {}
+
+    PATH = os.path.join(Command.SRC,  __appname__, 'ebooks', 'unihandecode', 'pykakasi')
+
+    def run(self,opts):
+
+        src = self.j(self.PATH, 'kakasidict.utf8')
+        dest = self.j(self.RESOURCES, 'localization',
+                'pykakasi','kanwadict2.db')
+        base = os.path.dirname(dest)
+        if not os.path.exists(base):
+            os.makedirs(base)
+
+        if not self.newer(dest, src):
+            self.info('kanwadict is up to date')
+        else:
+            self.info('Generating Kanwadict to', dest)
+
+            for line in open(src, "r"):
+                self.parsekdict(line)
+            self.kanwaout(dest)
+
+        src = self.j(self.PATH, 'itaijidict.utf8')
+        dest = self.j(self.RESOURCES, 'localization',
+                'pykakasi','itaijidict2.pickle')
+
+        if not self.newer(dest, src):
+            self.info('itaijidict is up to date')
+        else:
+            self.info('Generating Itaijidict to', dest)
+            self.mkitaiji(src, dest)
+
+        src = self.j(self.PATH, 'kanadict.utf8')
+        dest = self.j(self.RESOURCES, 'localization',
+                'pykakasi','kanadict2.pickle')
+
+        if not self.newer(dest, src):
+            self.info('kanadict is up to date')
+        else:
+            self.info('Generating kanadict to', dest)
+            self.mkkanadict(src, dest)
+
+        return
+
+
+    def mkitaiji(self, src, dst):
+        dic = {}
+        for line in open(src, "r"):
+            line = line.decode("utf-8").strip()
+            if line.startswith(';;'): # skip comment
+                continue
+            if re.match(r"^$",line):
+                continue
+            pair = re.sub(r'\\u([0-9a-fA-F]{4})', lambda x:unichr(int(x.group(1),16)), line)
+            dic[pair[0]] = pair[1]
+        dump(dic, open(dst, 'w'), protocol=2) #pickle
+
+    def mkkanadict(self, src, dst):
+        dic = {}
+        for line in open(src, "r"):
+            line = line.decode("utf-8").strip()
+            if line.startswith(';;'): # skip comment
+                continue
+            if re.match(r"^$",line):
+                continue
+            (alpha, kana) = line.split(' ')
+            dic[kana] = alpha
+        dump(dic, open(dst, 'w'), protocol=2) #pickle
+
+    def parsekdict(self, line):
+        line = line.decode("utf-8").strip()
+        if line.startswith(';;'): # skip comment
+            return
+        (yomi, kanji) = line.split(' ')
+        if ord(yomi[-1:]) <= ord('z'): 
+            tail = yomi[-1:]
+            yomi = yomi[:-1]
+        else:
+            tail = ''
+        self.updaterec(kanji, yomi, tail)
+
+    def updaterec(self, kanji, yomi, tail):
+            key = "%04x"%ord(kanji[0]) 
+            if key in self.records:
+                if kanji in self.records[key]:
+                    rec = self.records[key][kanji]
+                    rec.append((yomi,tail))
+                    self.records[key].update( {kanji: rec} )
+                else:
+                    self.records[key][kanji]=[(yomi, tail)]
+            else:
+                self.records[key] = {}
+                self.records[key][kanji]=[(yomi, tail)]
+
+    def kanwaout(self, out):
+        dic = anydbm.open(out, 'c')
+        for (k, v) in self.records.iteritems():
+            dic[k] = compress(dumps(v))
+        dic.close()
+

src/calibre/ebooks/unihandecode/pykakasi/itaijidict.utf8

@@ -0,0 +1,564 @@
+芦蘆
+壱一
+苅刈
+舘館
+曽曾
+菟兎
+島嶋
+盃杯
+冨富
+峯峰
+亘亙
+弌一
+乘乗
+亂乱
+豫予
+亊事
+弍二
+亞亜
+亰京
+从従
+仭仞
+佛仏
+來来
+儘侭
+伜倅
+假仮
+會会
+做作
+傳伝
+僞偽
+價価
+儉倹
+兒児
+兔兎
+竸競
+兩両
+囘回
+册冊
+冢塚
+冩写
+决決
+冱冴
+冰氷
+况況
+凉涼
+處処
+凾函
+刄刃
+刔抉
+刧劫
+剩剰
+劍剣
+劔剣
+劒剣
+剱剣
+劑剤
+辨弁
+勞労
+勳勲
+勵励
+勸勧
+區区
+卆卒
+丗世
+凖準
+夘卯
+卻却
+卷巻
+厠廁
+厦廈
+厮廝
+厰廠
+參参
+雙双
+咒呪
+單単
+噐器
+營営
+嚏嚔
+嚴厳
+囑嘱
+囓齧
+圀国
+圈圏
+國国
+圍囲
+圓円
+團団
+圖図
+埀垂
+埓埒
+塲場
+壞壊
+墮堕
+壓圧
+壘塁
+壥廛
+壤壌
+壯壮
+壺壷
+壹一
+壻婿
+壽寿
+夂夊
+夛多
+梦夢
+竒奇
+奧奥
+奬奨
+侫佞
+姙妊
+嫻嫺
+孃嬢
+學学
+斈学
+寃冤
+寇冦
+寢寝
+寫写
+寶宝
+寳宝
+尅剋
+將将
+專専
+對対
+尓爾
+尢尤
+屆届
+屬属
+峽峡
+嶌嶋
+嵜崎
+崙崘
+嵳嵯
+嶽岳
+巛川
+巵卮
+帋紙
+帶帯
+幤幣
+廐厩
+廏厩
+廣広
+廚厨
+廢廃
+廳庁
+廰庁
+廸迪
+弃棄
+弉奘
+彜彝
+彈弾
+彌弥
+弯彎
+徃往
+徑径
+從従
+徠来
+悳徳
+恠怪
+恆恒
+悧俐
+惡悪
+惠恵
+忰悴
+惱悩
+愼慎
+愽博
+慘惨
+慚慙
+憇憩
+應応
+懷懐
+懴懺
+戀恋
+戞戛
+戰戦
+戲戯
+拔抜
+拏拿
+擔担
+拜拝
+拂払
+挾挟
+搜捜
+插挿
+搖揺
+攝摂
+攪撹
+據拠
+擇択
+擧拳
+舉拳
+抬擡
+擴拡
+攜携
+攵攴
+攷考
+收収
+效効
+敕勅
+敍叙
+敘叙
+數数
+變変
+斷断
+旙旛
+昜陽
+晄晃
+晉晋
+晝昼
+晰晢
+暎映
+曉暁
+暸瞭
+昿曠
+曵曳
+朖朗
+朞期
+霸覇
+杤栃
+杰傑
+枩松
+檜桧
+條条
+檮梼
+梹檳
+棊棋
+棧桟
+棕椶
+楙茂
+榮栄
+槨椁
+樂楽
+權権
+樞枢
+樣様
+樓楼
+橢楕
+檢検
+櫻桜
+鬱欝
+盜盗
+飮飲
+歐嘔
+歡歓
+歸帰
+殘残
+殱殲
+殼殻
+毆殴
+毓育
+氣気
+沒没
+泪涙
+濤涛
+渕淵
+渊淵
+淨浄
+淺浅
+滿満
+溂剌
+溪渓
+灌潅
+滯滞
+澁渋
+澀渋
+潛潜
+濳潜
+澂澄
+澑溜
+澤沢
+濟済
+濕湿
+濱浜
+濾滬
+灣湾
+烱炯
+烟煙
+熈煕
+熏燻
+燒焼
+爐炉
+爭争
+爲為
+爼俎
+犁犂
+犹猶
+犲豺
+狹狭
+獎奨
+默黙
+獨独
+獸獣
+獵猟
+獻献
+珎珍
+璢瑠
+瑯琅
+珱瓔
+瓣弁
+甞嘗
+甼町
+畄留
+畍界
+畊耕
+畆畝
+畧略
+畫画
+當当
+畴疇
+疊畳
+疉畳
+疂畳
+癡痴
+發発
+皃猊
+皈帰
+皹皸
+盖蓋
+盡尽
+蘯盪
+眞真
+眦眥
+礦鉱
+礪砺
+碎砕
+碯瑙
+祕秘
+祿禄
+齋斎
+禪禅
+禮礼
+禀稟
+稱称
+稻稲
+稾稿
+穗穂
+穩穏
+龝穐
+穰穣
+窗窓
+竈竃
+窰窯
+竊窃
+竝並
+筺筐
+笋筍
+箟箘
+筝箏
+簔蓑
+籠篭
+籘籐
+籖籤
+粹粋
+糺糾
+絲糸
+經経
+總総
+緜綿
+縣県
+縱縦
+繪絵
+繩縄
+繼継
+緕纃
+續続
+纖繊
+纎繊
+纜繿
+缺欠
+罐缶
+罸罰
+羃冪
+羣群
+羮羹
+譱善
+翆翠
+翦剪
+耻恥
+聟婿
+聨聯
+聲声
+聰聡
+聽聴
+肅粛
+冐冒
+脉脈
+腦脳
+腟膣
+膓腸
+膸髄
+膽胆
+臈臘
+臟臓
+臺台
+與与
+舊旧
+舍舎
+舖舗
+舩船
+艢檣
+舮艫
+艷艶
+莖茎
+莊荘
+莵兎
+菷帚
+萠萌
+蕚萼
+蒂蔕
+萬万
+葢蓋
+蘂蕊
+蕋蕊
+藪薮
+藏蔵
+藝芸
+藥薬
+蘓蘇
+乕虎
+號号
+蠣蛎
+蝨虱
+蠅蝿
+螢蛍
+蟆蟇
+蟲虫
+蠏蟹
+蟷螳
+蟒蠎
+蠶蚕
+蠧蠹
+蠻蛮
+衂衄
+衞衛
+袵衽
+裝装
+襃褒
+褝襌
+覩睹
+覺覚
+覽覧
+觀観
+觧解
+觸触
+誡戒
+謌歌
+諡謚
+謠謡
+證証
+譛譖
+譯訳
+譽誉
+讀読
+讓譲
+讚賛
+豐豊
+貉狢
+貍狸
+貎猊
+豼貔
+貘獏
+戝財
+貭質
+貳弐
+貮弐
+賤賎
+賣売
+贊賛
+賍贓
+赱走
+踈疎
+踴踊
+躰体
+軆体
+軈軅
+軣轟
+輕軽
+輙輒
+輌輛
+轉転
+辭辞
+辯弁
+迯逃
+逹達
+逎遒
+遞逓
+遲遅
+邊辺
+邉辺
+邨村
+鄰隣
+醉酔
+醫医
+釀醸
+釋釈
+釡釜
+釼剣
+銕鉄
+錢銭
+鎭鎮
+鐵鉄
+鐡鉄
+鑒鑑
+鑄鋳
+鑛鉱
+鈩鑪
+鑚鑽
+閇閉
+濶闊
+關関
+阯址
+陷陥
+險険
+隱隠
+隸隷
+襍雑
+雜雑
+靈霊
+靜静
+靱靭
+韭韮
+韲齏
+韵韻
+顏顔
+顯顕
+飃飄
+餘余
+餝飾
+餠餅
+騷騒
+驅駆
+驛駅
+驗験
+髓髄
+體体
+髮髪
+鬪闘
+鰺鯵
+鰛鰮
+鳬鳧
+鳫鴈
+鵄鴟
+鵞鵝
+鷄鶏
+鷏鷆
+鹽塩
+麥麦
+麸麩
+麪麺
+點点
+黨党
+皷鼓
+鼡鼠
+齊斉
+齒歯
+齡齢
+龜亀
+槇槙
+遙遥
+瑤瑶
+凜凛
+熙煕

src/calibre/ebooks/unihandecode/pykakasi/jisyo.py

@@ -17,14 +17,14 @@ class jisyo (object):
 
     def __init__(self):
         if self.kanwadict is None:
-            dictpath = resources.get_path('kanwadict2.db')
+            dictpath = resources.get_path(os.path.join('localization','pykakasi','kanwadict2.db'))
             self.kanwadict = anydbm.open(dictpath,'r')
         if self.itaijidict is  None:
-            itaijipath = resources.get_path('itaijidict2.pickle')
+            itaijipath = resources.get_path(os.path.join('localization','pykakasi','itaijidict2.pickle'))
             itaiji_pkl = open(itaijipath, 'rb')
             self.itaijidict = load(itaiji_pkl)
         if self.kanadict is None:
-            kanadictpath = resources.get_path('kanadict2.pickle')
+            kanadictpath = resources.get_path(os.path.join('localization','pykakasi','kanadict2.pickle'))
             kanadict_pkl = open(kanadictpath, 'rb')
             self.kanadict = load(kanadict_pkl)
 

src/calibre/ebooks/unihandecode/pykakasi/kanadict.utf8

@@ -0,0 +1,317 @@
+;; Kana-Alphabet mapping dictionary
+;;
+;;  To use this mapping table, 
+;;    you should unicode normalize NKFC form.
+;;
+;; basic mapping
+;;
+a ァ
+a ア
+ba バ
+bba ッバ
+bbe ッベ
+bbi ッビ
+bbo ッボ
+bbu ッブ
+bbya ッビャ
+bbyo ッビョ
+bbyu ッビュ
+be ベ
+bi ビ
+bo ボ
+bu ブ
+bya ビャ
+byo ビョ
+byu ビュ
+cha チャ
+che チェ
+chi チ
+cho チョ
+chu チュ
+da ダ
+dda ッダ
+dde ッデ
+ddo ッド
+de デ
+di ディ
+do ド
+e ェ
+e エ
+e ヱ
+fa ファ
+fe フェ
+ffa ッファ
+ffe ッフェ
+ffi ッフィ
+ffo ッフォ
+ffu ッフ
+fi フィ
+fo フォ
+fu フ
+ga ガ
+ge ゲ
+gga ッガ
+gge ッゲ
+ggi ッギ
+ggo ッゴ
+ggu ッグ
+ggya ッギャ
+ggyo ッギョ
+ggyu ッギュ
+gi ギ
+go ゴ
+gu グ
+gya グャ
+gyo ギョ
+gyu ギゥ
+ha ハ
+he ヘ
+hha ッハ
+hhe ッヘ
+hhi ッヒ
+hho ッホ
+hhya ッヒャ
+hhyo ッヒョ
+hhyu ッヒュ
+hi ヒ
+ho ホ
+hya ヒャ
+hyo ヒョ
+hyu ヒュ
+i ィ
+i イ
+i ヰ
+ja ジャ
+ja ヂャ
+ji ジ
+ji ヂ
+jja ッジャ
+jji ッジ
+jji ッヂ
+jjo ッジョ
+jju ッジュ
+jjya ッヂャ
+jjyo ッヂョ
+jjyu ッヂュ
+jo ジョ
+jo ヂョ
+ju ジュ
+ju ヂュ
+ka カ
+ka ヵ
+ke ケ
+ke ヶ
+ki キ
+kka ッカ
+kke ッケ
+kki ッキ
+kko ッコ
+kku ック
+kkya ッキャ
+kkyo ッキョ
+kkyu ッキュ
+ko コ
+ku ク
+kya キァ
+kyo キォ
+kyu キゥ
+ma マ
+me メ
+mi ミ
+mo モ
+mu ム
+mya ミャ
+myo ミョ
+myu ミュ
+n ン
+n'a ンア
+n'e ンエ
+n'i ンイ
+n'o ンオ
+n'u ンウ
+na ナ
+ne ネ
+ni ニ
+no ノ
+nu ヌ
+nya ニャ
+nyo ニョ
+nyu ニュ
+o ォ
+o オ
+pa パ
+pe ペ
+pi ピ
+po ポ
+ppa ッパ
+ppe ッペ
+ppi ッピ
+ppo ッポ
+ppu ップ
+ppya ッピャ
+ppyo ッピョ
+ppyu ッピュ
+pu プ
+pya ピャ
+pyo ピョ
+pyu ピュ
+ra ラ
+re レ
+ri リ
+ro ロ
+rra ッラ
+rre ッレ
+rri ッリ
+rro ッロ
+rru ッル
+rrya ッリャ
+rryo ッリョ
+rryu ッリュ
+ru ル
+rya リャ
+ryo リョ
+ryu リュ
+sa サ
+se セ
+sha シャ
+shi シ
+sho ショ
+shu シュ
+so ソ
+ssa ッサ
+sse ッセ
+ssha ッシャ
+sshi ッシ
+ssho ッショ
+sshu ッシュ
+sso ッソ
+ssu ッス
+su ス
+ta タ
+tcha ッチャ
+tchi ッチ
+tcho ッチョ
+tchu ッチュ
+te テ
+to ト
+tsu ッ
+tsu ツ
+tta ッタ
+tte ッテ
+tto ット
+ttsu ッツ
+u ゥ
+u ウ
+va ヴァ
+ve ヴェ
+vi ヴィ
+vo ヴォ
+vu ヴ
+vva ッヴァ
+vve ッヴェ
+vvi ッヴィ
+vvo ッヴォ
+vvu ッヴ
+wa ヮ
+wa ワ
+wo ヲ
+ya ャ
+ya ヤ
+yo ョ
+yo ヨ
+yu ュ
+yu ユ
+yya ッヤ
+yyo ッヨ
+yyu ッユ
+za ザ
+ze ゼ
+zo ゾ
+zu ズ
+zu ヅ
+zza ッザ
+zzo ッゾ
+zzu ッズ
+zzu ッヅ
+;;
+;; extended characters
+;;
+;;
+;; gairai terms
+;;
+all オール
+algrism アルゴリズム
+answer アンサー
+base ベース
+begineer ビギナー
+connection コネクション
+contents コンテンツ
+creator クリエーター
+comic コミック
+comics コミックス
+culture カルチャー
+debug デバッグ
+debugging デバッギング
+design デザイン
+digital デジタル
+dillenma ジレンマ
+directory ディレクトリ
+disk ディスク
+document ドキュメント
+download ダウンロード
+electric エレクトリック
+facebook フェイスブック
+firefox ファイアーフォックス
+folder フォルダ
+format フォーマット
+forum フォーラム
+fox フォックス
+free フリー
+gnome ノーム
+gnu グヌー
+gozilla ゴジラ
+guide ガイド
+harvard ハーバード
+help ヘルプ
+highlight ハイライト
+japan ジャパン
+journal ジャーナル
+library ライブラリ
+line ライン
+love ラヴ
+love ラブ
+mail メール
+main メイン
+mystery ミステリ
+mozilla モジラ
+network ネットワーク
+next ネクスト
+new ニュー
+news ニュース
+native ネイティブ
+online オンライン
+open オープン
+professional プロフェッショナル
+profile プロファイル
+programmer プログラマ
+sample サンプル
+series シリーズ
+share シェア
+social ソーシャル
+society ソサエティ
+software ソフトウエア
+source ソース
+street ストリート
+system システム
+tag タグ
+text テキスト
+thunderbird サンダーバード
+training トレーニング
+twitter ツイッター
+unicode ユニコード
+wall ウオール
+wall ウォール
+welcome ウェルカム
+welcome ウエルカム
+wikinomics ウィキノミクス
+york ヨーク