Openjisho - le Japonais pour vous, par vous

[Azel]

Bonjour, je vous présente aujourd'hui un tout nouveau site, un nouveau compagnon pour l'apprentissage du Japonais: Openjisho (http://www.openjisho.com)



Derrière ce nom se «cache» un dictionnaire[jisho] collaboratif[open] ; c'est à dire une plateforme type wikipedia, où vous, utilisateur, êtes à la fois consommateur et contributeur du site.

Le dictionnaire est architecturé autour de la langue japonaise. Une entrée dans le dictionnaire correspond à un mot japonais + sa(ses) traduction(s) dans différentes langues. Actuellement le site est en beta publique et supporte uniquement les traductions françaises mais d'autres langues viendront compléter le site prochainement.

Coté technique, on est face à une plate-forme novatrice et multilingue, basée sur un moteur d'indexation puissant, capable de bâtir tout un maillage entre les mots, de créer des connexions suivant l'orthographe, le sens, etc. afin de fournir des résultats de recherche précis et surtout pertinents.

Maintenant pour bâtir un dictionnaire de qualité nous avons besoin de vous, de votre contribution. Si chacun apporte sa pierre à l’édifice, petite ou grosse, on devrait réussir à faire quelque chose de chouette. J’ai confiance!

Allez ça comme par là: http://www.openjisho.com/user/register

[Gnurou]

Cool idée qui rappelle dictionnaire-japonais, j'espère qu'elle ira plus loin en évitant de buter sur les mêmes écueils.

En fait quelques questions me viennent à l'esprit concernant ce projet:
1) quelle est la licence des données contribuées?
2) le dictionnaire est-il utilisable uniquement sur le site, ou ses données sont-elles téléchargeables afin d'être utilisées ailleurs à l'image du JMdict?
3) pourquoi ne pas partir de la base conséquence fournie par le JMdict au lieu de recommencer à zéro?

Plutôt qu'un nième dictionnaire en ligne, je verrai bien un projet dans le style tatoeba qui fournisse les entrées en japonais (extraites par exemple du JMdict qui est très complet) et permettre d'éditer/ajouter une traduction dans différentes langues. Le résultat resterait compatible avec le JMdict et pourrait ainsi y être facilement réintroduit pour maximiser la diffusion du travail des contributeurs. J'avais commencé un effort dans ce sens-là sur Transifex, mais un site avec une interface dédiée (comme tatoeba) serait bien plus approprié pour ce genre de travail.

[christian]

Ouaih, un peu comme "http://www.dictionnaire-japonais.com/"... Super idée, mais chacun voulant sa propre version du dico collaboratif, cela devient antiproductif avec l'idée d'origine... Si vous repreniez des bases communes ce serait sympa au lieu de présenter continuellement des nouveaux sites... En tant qu'utilisateur, je ne me vois pas collaborer à un puis un autre et ainsi de suite...

Sinon bon courage pour la suite...

[zev]

Pourquoi pas un truc du genre http://www.alc.co.jp/ ?
Exemple:
http://eow.alc.co.jp/search?q=dictionary&ref=sa

avec des tournures et des textes techniques

[Gnurou]

Ouaih, un peu comme "http://www.dictionnaire-japonais.com/"... Super idée, mais chacun voulant sa propre version du dico collaboratif, cela devient antiproductif avec l'idée d'origine... Si vous repreniez des bases communes ce serait sympa au lieu de présenter continuellement des nouveaux sites... En tant qu'utilisateur, je ne me vois pas collaborer à un puis un autre et ainsi de suite...

C'est un peu mon sentiment également. Un dictionnaire japonais multilingue manque cruellement - mais plutôt que de réinventer la roue à chaque fois, il serait AMHA bien plus judicieux de capitaliser sur le JMdict, qui bien qu'étant à la base un dictionnaire japonais/anglais est déjà partiellement traduit dans d'autres langues (dont environ 16000 entrées en français). Pourquoi perdre du temps à retraduire tout cela?

Par ailleurs, les entrées japonaises du JMdict fourniraient un squelette complet et cohérent, avec tous les indices sémantiques nécessaires (un dictionnaire ne se limite pas à la traduction d'une langue à une autre, il faut également connaître le genre d'un mot, de type d'un verbe, etc.), et la traduction anglaise fournirait un "guide" pour la définition française. De plus en respectant le format du JMdict (voire en y contribuant les entrées traduites), le projet assurerait que les efforts des contributeurs sont utilisés dans un maximum de sites et de logiciels. Si je veux chercher une définition, j'irai sur jisho.org plutôt qu'ailleurs - autant faire en sorte qu'une traduction française y soit également visible.

J'adorerai voir un projet inspiré de Tatoeba pour l'interface visant à internationaliser le JMdict - là je suis sûr de son succès. Mais je ne vois pas comment un nouveau dictionnaire partant de zéro pourrait constituer une contribution significative, surtout s'il n'est accessible qu'à partir d'un unique site.

Just my 2c. Mais si le projet partait dans cette direction, j'abandonnerai joyeusement mon propre travail sur Transifex pour transférer les maigres ressources que je peux allouer sur ce nouveau projet.

[zev]

Ah tiens, je connaissais pas tatoeba

Pour moi la reference pro/technique c'est alc, c'est dommage qu'il soit avant tout destine a des japonais (pas d'interface anglaise)

[Parker]

C'est un peu mon sentiment également. Un dictionnaire japonais multilingue manque cruellement - mais plutôt que de réinventer la roue à chaque fois, il serait AMHA bien plus judicieux de capitaliser sur le JMdict, qui bien qu'étant à la base un dictionnaire japonais/anglais est déjà partiellement traduit dans d'autres langues (dont environ 16000 entrées en français). Pourquoi perdre du temps à retraduire tout cela?

Par ailleurs, les entrées japonaises du JMdict fourniraient un squelette complet et cohérent, avec tous les indices sémantiques nécessaires (un dictionnaire ne se limite pas à la traduction d'une langue à une autre, il faut également connaître le genre d'un mot, de type d'un verbe, etc.), et la traduction anglaise fournirait un "guide" pour la définition française. De plus en respectant le format du JMdict (voire en y contribuant les entrées traduites), le projet assurerait que les efforts des contributeurs sont utilisés dans un maximum de sites et de logiciels. Si je veux chercher une définition, j'irai sur jisho.org plutôt qu'ailleurs - autant faire en sorte qu'une traduction française y soit également visible.

J'adorerai voir un projet inspiré de Tatoeba pour l'interface visant à internationaliser le JMdict - là je suis sûr de son succès. Mais je ne vois pas comment un nouveau dictionnaire partant de zéro pourrait constituer une contribution significative, surtout s'il n'est accessible qu'à partir d'un unique site.

Just my 2c. Mais si le projet partait dans cette direction, j'abandonnerai joyeusement mon propre travail sur Transifex pour transférer les maigres ressources que je peux allouer sur ce nouveau projet.

Tout à fait d'accord. Moi aussi j'abandonnerai mes (encore maigres) contributions sur Transifex à condition que l'on se préoccupe de trois choses :

- la licence d'utilisation (c'est en étant vraiment libre qu'on peut s'assurer d'une diffusion large. Il faut aussi accepter les forks et jouer sur l'ouverture des formats : d'où la nécessité de permettre le téléchargement de la base pour inclusion dans d'autres produits)
- la structure du dictionnaire et notamment la possibilité d'inclure des exemples. C'est grâce aux phrases d'exemple que l'on peut vraiment saisir le sens d'un mot. Tenter d'inclure tous les sens (à la JMDict) sans contexte en fait un fait un outil peu utile.
- bien calibrer le niveau de langage et la fréquence des entrées : Encore une fois, le JMDict passe à côté en utilisant des lectures rares, voire rarissimes pour des mots courants, ou encore des mots rarement employés et aussi rarement connus des natifs. L'absence d'exemple renforce cette confusion.

Bref, si un si mauvais outil que le JMDict (si,si, j'insiste) se retrouve partout et même dans Tagaini, c'est quand même grâce à sa licence.

Repartir de sa base en le mariant avec des phrases d'exemple ? Pourquoi pas ? Mais il faudrait aussi le dévéroler de toutes ces références oiseuses (sérieusement : qui écrit とても en kanji ?). C'étaient mes deux cents à moi. D'autres veulent-ils contribuer au magot ?

[Gnurou]

- la licence d'utilisation (c'est en étant vraiment libre qu'on peut s'assurer d'une diffusion large. Il faut aussi accepter les forks et jouer sur l'ouverture des formats : d'où la nécessité de permettre le téléchargement de la base pour inclusion dans d'autres produits)

+1000

- la structure du dictionnaire et notamment la possibilité d'inclure des exemples. C'est grâce aux phrases d'exemple que l'on peut vraiment saisir le sens d'un mot. Tenter d'inclure tous les sens (à la JMDict) sans contexte en fait un fait un outil peu utile.

Tatoeba est bourré de phrases d'exemple avec leur traduction, c'est vrai que si on pouvait lier les sens à des phrases directement, cela serait extra. Peut-être en créant une extension au JMdict?

- bien calibrer le niveau de langage et la fréquence des entrées : Encore une fois, le JMDict passe à côté en utilisant des lectures rares, voire rarissimes pour des mots courants, ou encore des mots rarement employés et aussi rarement connus des natifs. L'absence d'exemple renforce cette confusion.

JMdict est volontairement très exhaustif concernant les lectures et les kanji employés, mais les cas rares et les sens obsolètes sont signalés par les tags uk (usually writting in kana) et arch (archaic). Le problème est que beaucoup de logiciels ne s'en servent pas (Tagaini essaie autant que possible mais là aussi les choses ne sont sans doute pas parfaites).

Je te trouve un peu dur avec le JMdict, mais suis totalement d'accord avec ton analyse. La collecte des données et leur utilisation sont deux préoccupations orthogonales, et l'ouverture des formats est essentielle. Il serait intéressant d'avoir le commentaire d'Azel à ce sujet.

[Azel]

Merci pour vos retours. Ça fait plaisir de voir que mon post génère quelques réactions.
Je réponds un peu tardivement, je m'excuse j'étais absent durant quelques jours.


Je vais essayer de résumer et répondre à l'ensemble des questions.


Utilisation et exploitation des données:
Pour bien clarifier les choses, le dictionnaire sera complètement ouvert, le nom OPEN est bien là pour quelque chose.
Pour le moment rien n'est mentionné sur le site, mais cela fait partir des top priorité de ma todo liste. Je traîne un peu sur ce point car je suis encore incertain quant à la licence à mettre en place. Je compte partir sur du Creative Commons 3.0 mais je ne sais pas s'il est intéressant d'intégrer la clause "Noncommercial — You may not use this work for commercial purposes". Vous en pensez quoi?
Qui dit OPEN, dit également exportable ; sous différents formats et différents types (full, lite, par langue, etc.). Cela fait également parti des todos et des fonctionnalités indispensables à la réussite du dictionnaire.


Motivations et raisons derrières Openjisho:
La première et la principale est que je ne suis pas satisfait par les dictionnaires existants. Moteur de recherche obsolète, des réponses douteuses ou inappropriées (comme le souligne justement Parker), ergonomie, etc. Le seul à ma connaissance qui sort du lot est jisho.org, mais il ne propose malheureusement que l'anglais.
Deuxièmement, l'absence de dictionnaire en ligne Français/Japonais. Le site dictionnaire-japonais.com a connu une longue période de vide, et c'est justement à ce moment là que je me suis lancé sur Openjisho. Le dictionnaire a fait peau neuve depuis, une appli mobile à vu le jour, mais il ne corrige pas ses lacunes du passé:
Dictionnaire fermé
Résultats de recherche beaucoup trop approximatif ; faites une recherche sur «maison» par exemple, vous allez obtenir une 50aine de résultats et avant de trouver 家, il faut scroller un peu.


From scratch vs JMDict:
A l'origine j'avais la même opinion que Parker sur JMDict ; des lectures rares, des mots anciens qui ne sont plus employés de nos jours, etc. Mais le plus gros problème dans tout ça c'est l'absence de mécanisme pour trier les entrées et proposer des résultats pertinents (voir remarque dans le paragraphe précédent).
Donc plutôt que faire une passe de nettoyage sur JMDict, j'ai opté pour l'option from scratch. Mais suite aux remarques de Gnurou, je suis un peu plus mitigé maintenant Le débat est ouvert!?


Évolutions à venir:
Intégrer de nouvelles langues ; l'anglais en priorité bien entendu
Ajouter des exemples aux traductions (tout bonnement indispensable). Je n'ai pas encore une vision claire de cette fonctionnalité.
Opter pour une solution simple, consistant à étendre les données d'un mot, en rajoutant des exemples. Un mot aurait ainsi 0 à n exemple(s)?
Ou mettre en place un système plus avancé, détaché des mots. Les exemples serait ajoutés indépendamment et les contributeurs pourraient ensuite rattacher un ou plusieurs exemples à un mot. Peut être venir se connecter à Tatoeba? Il propose une API ouverte?

[Gnurou]

Utilisation et exploitation des données:
Pour bien clarifier les choses, le dictionnaire sera complètement ouvert, le nom OPEN est bien là pour quelque chose.
Pour le moment rien n'est mentionné sur le site, mais cela fait partir des top priorité de ma todo liste. Je traîne un peu sur ce point car je suis encore incertain quant à la licence à mettre en place. Je compte partir sur du Creative Commons 3.0 mais je ne sais pas s'il est intéressant d'intégrer la clause "Noncommercial — You may not use this work for commercial purposes". Vous en pensez quoi?

J'ai un petit retour d'expérience à ce sujet. Il y a 4 ans et après moults effort, j'ai réussi à faire libérer KanjiVG (une base de données d'informations de compositions pour 6000 kanji avec leur tracé dans l'ordre au format SVG) qui était alors un projet universitaire non-accessible. L'un des arguments qui avait convaincu l'ayant-droit était la licence que j'avais proposé: Creative Common 3.0 Non Commercial Share Alike. Nous étions tombés d'accord sur cette licence et tout se passait bien.

Et puis un jour quelqu'un m'a mis sous le nez le fait que cette licence était inexploitable pour la simple raison qu'elle était incompatible, notamment, avec la GPL, la politique de Debian, etc. Autrement dit, inexploitable pour n'importe quel projet libre. La raison? La clause non-commerciale interdirait par exemple à Debian de vendre des CDs de leur distro à prix coûtant si les données y étaient inclues. Du coup nous sommes rapidement passés à une CC 3.0 Share Alike, qui propose virtuellement la même guarantie : les produits dérivés doivent être livrés sous une licence compatible, guarantissant que personne ne peut fermer les données et se les approprier, tout en laissant l'opportunité de faire des logiciels commerciaux pourvu qu'ils restent ouverts dans leurs contributions.

Qui dit OPEN, dit également exportable ; sous différents formats et différents types (full, lite, par langue, etc.). Cela fait également parti des todos et des fonctionnalités indispensables à la réussite du dictionnaire.

C'est en effet un point essentiel et je suis ravi de ta réponse.

Motivations et raisons derrières Openjisho:
La première et la principale est que je ne suis pas satisfait par les dictionnaires existants. Moteur de recherche obsolète, des réponses douteuses ou inappropriées (comme le souligne justement Parker), ergonomie, etc. Le seul à ma connaissance qui sort du lot est jisho.org, mais il ne propose malheureusement que l'anglais.

Pour info, jisho.org est basé (comme tout le monde d'ailleurs) sur le combo JMdict/kanjidic2/KanjiVG/Tatoeba. Comme quoi les même données utilisées differemment donnent des résultats très différents.

C'est pour cela que j'insiste sur le fait que le moteur du dictionnaire est une préoccupation totalement orthogonale à la contruction de la base de données qu'il utilisera. Attention à ne pas courir deux lièvres à la fois ; c'est très difficile de faire un bon logiciel de dictionnaire, c'est très difficile de réunir des données de qualité. Faire les deux en même temps relève du miracle.

Là encore l'exemple du JMdict est révélateur : le dictionnaire officiel est pourri, par contre les sites alternatifs utilisant ces même données rencontrent un meilleur succès.

Deuxièmement, l'absence de dictionnaire en ligne Français/Japonais. Le site dictionnaire-japonais.com a connu une longue période de vide, et c'est justement à ce moment là que je me suis lancé sur Openjisho. Le dictionnaire a fait peau neuve depuis, une appli mobile à vu le jour, mais il ne corrige pas ses lacunes du passé:
Dictionnaire fermé
Résultats de recherche beaucoup trop approximatif ; faites une recherche sur «maison» par exemple, vous allez obtenir une 50aine de résultats et avant de trouver 家, il faut scroller un peu.

dictionnaire-japonais est totalement mort en ce qui me concerne, j'avais essayé de contacter son propriétaire pour faire un rapprochement avec le JMdict mais rien de concret n'est jamais sorti.

From scratch vs JMDict:
A l'origine j'avais la même opinion que Parker sur JMDict ; des lectures rares, des mots anciens qui ne sont plus employés de nos jours, etc. Mais le plus gros problème dans tout ça c'est l'absence de mécanisme pour trier les entrées et proposer des résultats pertinents (voir remarque dans le paragraphe précédent).

Cela fait maintenant 5 ans que je programme sur le JMdict et son format, et crois-moi, il n'y a vraiment pas grand chose à lui reprocher en dehors du fait qu'il est trop complet et bien pensé, et que ceux qui s'en servent pour leurs softs n'y ont rien compris.

JMdict se fait souvent taper dessus, mais le seul problème, c'est que ceux qui écrivent des logiciels l'utilisant sont des tanches. Pour reprendre l'exemple de とても qu'a avancé Parker, j'ai attaché le résultat de la recherche faite sur ce mot avec Tagaini : l'écriture en hiragana apparaît bien comme l'écriture principale, et celle en kanji comme une écriture alternative. JMdict contient l'information que cette écriture n'est plus à l'ordre du jour ; seulement très peu de logiciels s'en servent et préfèrent juste afficher la première écriture en kanji qui passe. L'intérêt d'avoir cette écriture est que tu peux parfaitement vouloir faire une recherche sur un vieux livre utilisant cette écriture obsolète, et que tu auras alors le bon résultat ; mais la mettre en avant est une erreur.


Jisho.org se plante d'ailleurs royalement sur cette entrée ; mais de toute façon je le soupçonne d'être surtout un moyen pour son auteur d'afficher des bannières de pub.

Donc plutôt que faire une passe de nettoyage sur JMDict, j'ai opté pour l'option from scratch. Mais suite aux remarques de Gnurou, je suis un peu plus mitigé maintenant Le débat est ouvert!?

Ben, c'est juste que si tu fais un petit calcul : il a fallu plus de 15 ans à Jim Breen et une équipe relativement large d'experts anglophones du japonais (potentiel plus important que les francophones donc) pour élaborer ce dictionnaire de 150.000 entrées, les classer par type, champ lexical, grouper les sens d'un même mot, et proposer un format suffisamment riche pour exporter toute cette information. Ce serait de la folie AMHA de ne pas tirer avantage de ce travail et du "squelette" que propose la partie japonaise du JMdict, déjà complète avec toutes les variante, écritures, et classifications. Je ne sais pas si tu te rend compte du travail énorme dont il s'agit. Combien de millier d'années penses-tu qu'il faudra à une poignée de francophones non-universitaires pour arriver au même résultat?

Aussi, je vois très mal comment un projet "concurrent" pourra se faire de la lumière, étant donné que même la base francophone est déjà bien amorcée. Le seul souci qui fait que JMdict ne s'internationalise pas plus, c'est qu'il n'y a aucun moyen efficace de contribuer des traductions dans des langues autres que l'anglais. Voyant ce trou, mais manquant de temps pour faire un projet complet, j'ai bricolé un truc rapide en exploitant Transifex pour faire des traductions, mais c'est loin d'être idéal. Je rêve de voir un site qui serait basé sur le même modèle que Tatoeba et qui permettrait de traduire les entrées du JMdict dans toutes les langues pour ensuite les contribuer au projet d'origine et s'assurer de leur diffusion maximale. C'est le seul moyen d'avoir, à terme, une version française de jisho.org par exemple.

Évolutions à venir:
Intégrer de nouvelles langues ; l'anglais en priorité bien entendu
Ajouter des exemples aux traductions (tout bonnement indispensable). Je n'ai pas encore une vision claire de cette fonctionnalité.
Opter pour une solution simple, consistant à étendre les données d'un mot, en rajoutant des exemples. Un mot aurait ainsi 0 à n exemple(s)?
Ou mettre en place un système plus avancé, détaché des mots. Les exemples serait ajoutés indépendamment et les contributeurs pourraient ensuite rattacher un ou plusieurs exemples à un mot. Peut être venir se connecter à Tatoeba? Il propose une API ouverte?

Ta dernière proposition est à mon avis exactement ce qu'il faut faire. Tu as des entrées du JMdict, identifiées par un numéro unique. A côté tu as les phrases d'exemple de Tatoeba, identifiées par un numéro unique. Il suffit juste de connecter les deux. Pour l'API, tu n'en as même pas besoin vu que tu peux importer les données de Tatoeba dans ton projet. Ne pas aller dans cette direction, ce serait un peu comme faire reconstruire ta maison à côté de l'ancienne sous prétexte que tu as perdu les clés, parce qu'il ne t'es pas venu à l'esprit qu'il suffirait de changer la serrure.

L'avantage étant qu'en faisant ainsi tu tireras parti des additions faits aux deux projets. Une phrase d'exemple de Tatoeba que tu références vient de recevoir une traduction en Allemand? Bam, tu viens de gagner la phrase pour la version allemande de ton dico gratuitement. Par contre, commencer un corpus par toi même, hum... Tu as une armée d'un millier de natifs dans les différentes langues que tu veux supporter pour te faire cela?

Je sais qu'il est moins excitant et moins glorieux de connecter et compléter des projets existants que de faire le sien from scratch. Mais il faut aussi regarder les moyens et les compétences que l'on a. Il sera très difficile de trouver suffisamment d'experts francophones en japonais pour construire un dictionnaire fiable. En revanche, il y a beaucoup plus de gens assez familiers avec le japonais et l'anglais pour fournir une traduction française correcte à partir de ces deux langues. Construire un corpus de phrases d'exemple représente un travail impossible à réaliser pour une poignée de personnes. Mais connecter un corpus existant avec un dictionnaire existant est déjà beaucoup moins effrayant.

Si tu as les compétences et le temps pour faire un projet similaire à Tatoeba et gérant la traduction du JMdict dans d'autres langues + la connexion avec le corpus de Tatoeba, je crois que tu auras une chance de mettre ton nom sur un projet extrêmement utile pour la communauté et qui rencontrera à coup sûr le succès. Jim était déjà ouvert pour intégrer les contribs de Transifex dans son JMdict - si ton projet va dans la même direction, je suis prêt à l'appuyer pour qu'il en prenne la place et t'aider dans la limite (très limitée ) de mon temps disponible. Et il semble également que d'autres membres du site soient prêts à contribuer.

So, just do it!