たかいとの備忘録

自然言語処理や機械学習のことについて学んだことを忘れないように書いていけたらと思います．

【第6回】関東Kaggler会の参加レポート

はじめに

2026年8月7日(金)に開催された第6回 関東Kaggler会に運営として参加しておりました．

個人的な備忘録ですが，次回以降にはじめて参加する方の参考になれば幸いです． (個人的には，第一回の記事の方が初参加する方の参考になると思います！)

なお，アーカイブが後日公開されるはずなので，技術的な要素はあまり書きません． 技術やtipsを知りたい方は，公開してくれている発表資料やアーカイブをご視聴いただけますと幸いです．

また，終了数時間後には参加者からの参加レポートが投稿されており，基本的な内容は重複しがちかと思いますので，今回は運営視点での話題を少し多めにご共有できたらと思います！

nakakiiro.hateblo.jp

現地参加のノベルティ

関東Kaggler会に関して

  • 会場: 経済産業省別館7階 共創空間ベツナナさん (ゲートシティ大崎 イーストタワー)
  • 参加者: スタッフやスポンサーを入れて現地90人くらい
  • 招待講演4件，スポンサーセッション5件，LT (ライトニングトーク)8件，懇親会

概要の抜粋

Kaggerを対象にしたオフラインイベントを開催します！本イベントでは、Kaggle大国である日本の中でもトップクラスの結果を出されているKagglerの方々が経験や解法を共有してくださいます！

・Kaggle好きが集まって楽しむ会

・Kaggler同士の交流を促進し、コミュニティーをさらに発展させる会

・ハッシュタグは #kanto_kaggler

各パートの簡単なメモ書き

招待講演

okumuraさん (@okumura2997) speakerdeck.com

okumuraさんからは，Deep Past ChallengeとOrbit Warsのコンペが題材の発表でした． こちら，印象的だったのはやはりOrbit Warsに対して，コンペ終了後に追加検証を丁寧にやっている点だったかと思います． 強い人は追加検証をしっかりやっている印象がありますが，okumuraさんもGMに昇格し，無理にメダルを追う必要がなくなったため，追加検証に時間を割くようになったとコメントがありました． さらに強くなるためには，必須の取り組みだと思うので，自身も参考にしたいと思います！

takoiさん (@TaTakoihirokazu )

takoiさんからは，「生成AI時代のアイデア」というタイトルで，アイデアを出す一つの方向性としてご自身の鳥コンペの解法について紹介していただきました． ちょっとした実装ミスまでも味方につけてしまう点は，驚異的だなと思いました． とはいえ，基本的な深層学習モデルの改善のさせ方のポイントをおさえているからできる芸当だと思うので，まずはきちんとした知識や経験を身に着けることを大事にした方が良いという点は，最近取り組み始めた人に伝えたい点でした． 強いKagglerはこれまで大量の試行錯誤で，ハイパラの設定やモデルアーキテクチャの工夫などの勘所がわかっていたり，公開していないだけで大量の実験を回していたりします． そのうえで解法として，その中の一部だけをスマートに公開していることが多いので，そういった背景があることは理解しておくべきかなと思います．

Someyaさん (@smy_ml) speakerdeck.com

someyaさんからは，PhysioNetの心電図コンペについて発表していただきました． いろいろと話題はあったかと思いますが，評価指標をきちんと理解しスコアを伸ばしていったという点は，非常に重要な点だったかと思います． 数年前の登壇でも話題になりましたが，コンペは評価指標を以下に改善していくかに特化したゲームであり，その特性をきちんと理解してコンペに取り組むことは，特に普段使わないような指標の場合，重要になります． 心電図のOCR自体は，少しマニアックな話題ですが，こういった点は他のコンペでも応用の効く点だと思いますので，そういった点において初学者の方にも参考になった点が多かったのではないかと思います．

kansai-kanto kaggler 連合さん ( eikichiさん (@eikichi838 )， neilusさん (@neilus_ )， Rickさん (@datascienceRick ) ) speakerdeck.com

kansai-kanto kaggler連合さんからは，NVIDIA Nemotronコンペの振り返りについて発表していただきました． 今回，チームでの登壇ということで，質疑応答に関してもチームとしてどのように進めていったかなどに焦点があてられていました． 特に，このコンペはLoRA adapterをサブするコンペのため，予測を雑にensembleするみたいなことができないコンペであり，自身もその点は気になっていましたが，発表内でも取り組みに関しては，特に注力した部分が分かれていて，各々の取り組みがスコア改善につながっており素晴らしいなと思いました！ また，このコンペに取り組みにあたって，執筆した書籍が参考になったと嬉しいコメントをいただくこともできました．

スポンサーセッション

スポンサーがあることで会が成り立っているので，いつもありがとうございます！

どこの企業も技術力ある人がたくさんいて，kaggleをはじめ，技術のことをいろいろと雑談できるメンバーがいて魅力的だなと思いました！

各スポンサーの採用情報へのリンク（紹介いただいた方のkaggleアカウントのリンクを追加しました！）

LT

前回のLTはあまり集まらず，運営から2名参加してLTを行ったのですが，今回は追加枠を設けてもすぐに埋まってしまうくらいたくさんの応募があり，運営として嬉しい限りです(平日効果？)！ 逆に自身はこれまでLT皆勤賞でしたが，連続記録を良いタイミングで切ることができたのではないかと思っています．

Agent時代のKaggle展望 u++さん

穴掘りコンペ振り返り ihiratchさん

火山コンペの振り返り hatryさん

OrbitWars参戦記 morim3さん

時系列コンペのtips Masahiro Mochizukiさん

claw系botと始める、"寂しくない" kaggle（仮） suguuuuuさん

最適化を最適化する / KaggleのためのAgentic Scheduling ymg_aqさん

AI Agentと戦うKaggleのTips Yuya Shintaniさん

どのLTも印象的でしたが，昔からKaggleをやっており，国内でのKaggleの認知やコミュニティ醸成に大きく貢献してきたu++さんのLTはとても印象的でした． また，ihiratchさんの穴掘りコンペは終了してまだ1日しか経っていない中で，ホットな内容を扱っていただき，嬉しかった参加者も多かったのではないかと思います． ymg_aqさんに関しては，登壇の方で3倍時間をとって詳しく聞きたい内容でしたが，それをうまく10分にまとめている点や，話の運び方や最後にしっかりオチを準備している点など，内容だけでなく面白いLTという点においても，非常に勉強になりました．

懇親会

毎回思いますが，あっという間に時間が過ぎてしまいました．

懇親会は対面イベントの醍醐味でもあり，いろいろな人と多くの人が交流できていたようで良かったです！ 自身も初めましての人となるべく話したり，会場で次の話の輪を探している人になるべく話しかけ，適切な人を紹介できるようにしてみました！

休憩時間も懇親会の時間もかなり長くとってくれていたにも関わらず，話したい人全員と話すことはできなかったので，次回現地でお会いできることがあれば，また改めてお話させてください！（運営参加は意外とやること多かったりで不自由な点が多くて，この点は悩ましいですね．）

全体の感想

今回の登壇者も，自身の意向をかなり反映してもらっており，内容も直近コンペの振り返りを中心とした実践的な内容で，非常に満足度の高い内容でした． 1カ月くらいの準備期間しかない中での依頼だったのにも関わらず，快諾していただいた登壇者の皆様，改めてありがとうございました．

これまでの関東Kaggler会でもらっていたコメントで，内容が難しすぎます(泣)といったコメントをもらうことが多いのですが，今回はコンペの振り返りが登壇およびLTともに多く，これまで開催されてきた6回の中でも一番ヘビーな内容だった気がしました． 自身は出ていなくても最低限コンペを追うようにしているので，コンペの前提や議論されていた内容をおさえていますが，まったく追ってないコンペとかは聴講のハードルが高かったのではないかと思います（特に最近のコンペは複雑なので）．

このあたり，もっとライトなLTがあっても良いなと思っているので，懇親会で何名かには伝えましたが，もっと気楽にLTはしてもらえたらと思っています． また，もっとラフに頻度をあげて勉強会やコンペ振り返り会のイベントがあると嬉しいといったコメントがあり，自身も今後そういったイベントやコンペの開催に携わっていきたいなと思っています． ただ，自身も一日24時間しかなく，なかなか時間が確保できないこともあるので，ぜひ多くの方と協力しながら，いろいろなイベントの開催などを計画・実行していけたらと思っていますので，お手伝いいただけますと幸いです！

また，今回は関東kaggler会，初の平日開催とのことで，アンケートにもそのあたりの項目を追加してみました． いつもアンケートに協力いただいていますが，そのフィードバックとかしてなかったので，一部の集計結果を紹介できたらと思います！

まずはイベント満足度ですが，観測可能な範囲では高いようで安心しました．

イベント満足度 #6

まず，平日開催でしたがたくさんの人に参加してもらえてホッとしています．そのうえで，回答を見ると平日or土日においては，土日開催の方が若干希望者は多い傾向にありました．ただし，今回の登壇者の中にも平日だから参加できたといった方もおり，やはり参加者の顔ぶれが変わることを考えると，今後は適度に織り交ぜながら開催していくことができたらいいのかなと思っております．（あと関東kaggler会はアーカイブを公開する方針で後から聴講できるので）

平日or土日 #6

開催頻度に関しては，現状のペースがベストという人が一番多いですが，「3ヶ月に1回」が次いで多く，「コンペ終了ごと」などもっと開催を増やしてほしいという意見も多かったです．

開催頻度 #6

こちらは先ほど述べたように，関東kaggler会とは別に，勉強会などのイベントをやっていけたらと思っています． 具体的なコメントを踏まえると，やはりKagglerとの交流によってモチベーションが高まるという点で，開催頻度が増えると嬉しい！みたいなコメントが大半なので，もう少しライトなイベントは検討していけたらと思っています！（関東Kaggler会の規模のイベント運営は大変なので）

あとは，自身の転職先を公開したこともあり，お祝いのコメントと意外な転職先でしたというコメントを多くいただきました． 後者の意外だと思う理由は自身もそう思うだろうなと思っておりました（実際に転職先の候補のリストに元々は入っていなかったこともあり）． もちろん，個々人でキャリアの考え方が違うため，全Kagglerにベストな環境ではないと思っていますが，自分自身はたくさんある候補の中で，一番魅力的な環境だと思い，ABEJAに転職しました！ 自身と同じように知らないだけで，実は現在の自分自身が求めているよりマッチした環境の企業があると思うので，ぜひ現在転職を検討している方には，カジュアル面談を積極的に活用し，いろいろな企業と話す機会を増やすことをオススメします！

自身はABEJAにプレイヤーとして入社はしましたが，近いうちにマネジメントにも挑戦する予定で，日本最高峰のデータサイエンス組織を目指したいと思っています！ 特に，自身のこれまでの経験を活かして，研究活動やKaggleなどにも力を入れることで，AI Agentでは代替できない人材がたくさん在籍する組織にしたいと考えています！ 一緒に盛り上げてくれる仲間を募集しているので，少しでも興味があれば，気軽にご連絡いただけますと幸いです！ (入社エントリーも参考にしてもらえたら幸いです！)

note.com

おわりに

次回，関東kaggler会は1月開催予定です！

ぜひコミュニティ全体で盛り上げて行きましょう！

今後も何卒よろしくお願いいたします．

【第5回】関東Kaggler会の参加レポート

はじめに

2026年1月17日(土)に開催された第5回 関東Kaggler会に運営として参加しておりました．

個人的な備忘録ですが，次回以降にはじめて参加する方の参考になれば幸いです． (個人的には，第一回の記事の方が初参加する方の参考になると思います！)

なお，アーカイブが後日公開されるはずなので，技術的な要素はあまり書きません． 技術やtipsを知りたい方は，公開してくれている発表資料やアーカイブをご視聴いただけますと幸いです．

現地参加のノベルティ

関東Kaggler会に関して

  • 会場: Turingさん (ゲートシティ大崎 イーストタワー)
  • 参加者: スタッフやスポンサーを入れて現地90人くらい？
  • 招待講演4件，スポンサーセッション5件，LT (ライトニングトーク)3件，懇親会

概要の抜粋

Kaggerを対象にしたオフラインイベントを開催します！本イベントでは、Kaggle大国である日本の中でもトップクラスの結果を出されているKagglerの方々が経験や解法を共有してくださいます！

・Kaggle好きが集まって楽しむ会

・Kaggler同士の交流を促進し、コミュニティーをさらに発展させる会

・ハッシュタグは #kanto_kaggler

運営に参加した理由

これまで，Kaggleをはじめとしたコンペで勉強させてもらったことで今の自身があるので，コミュニティの活性化に少しでも貢献できたらと思い，運営に参加することにしました．

LT登壇の理由

今回は運営としての初参加だったので，LTは当初予定していなかったのですが，今回は年初ということもあり申込が少なかったため，今回もLT登壇することにしました！

LTをしておくと懇親会のときの話題作りに困らなくなるので，話すのが苦手な方やむしろ初参加で話しかけるのが苦手な人にとてもおすすめです！

今回は運営参加ということもあり，懇親会で過去コンペのことで盛り上がってもらえたらと思い，2025年開催のkaggleコンペを一通り振り返りました．

資料としてもそれなりに便利だと思いますので，何かの役に立てば幸いです．

こうやってまとめてみると，振り返り資料を定期的に書いている方の存在はコミュニティにとって，とてもありがたい存在だなと改めて思います．

資料はこちら

speakerdeck.com

各パートの簡単なメモ書き

招待講演

ohkawa3さん (@hogemon33) speakerdeck.com

ohkawa3さんからは直近開催されていたNFLコンペ2026でソロ優勝したご自身の解法およびその解法に至る思考過程など，大変貴重なお話をしていただきました． GauiannNLL Lossの話や学習データ拡張の話など，とても勉強になる内容であり，不確実性の可視化など，モデル開発だけでなくデータ分析という点においても参考になりました．

isakaさん (@AInebosuke) speakerdeck.com

isakaさんからは，Data-Centricという観点からの発表でした． Data-Centricは，一言でまとめると，「データをうまく準備することによって性能を改善していこう！」みたいな考え方で，kaggleでも頻出のテクニックです． ただし，各コンペで分離して触れることはあっても，今回の資料のようにコンペ全体を見渡してまとめた資料はあまりない印象であり，大変参考になりました． 特に，isakaさんはNLPのイメージが自身は強かったのですが，テキストコンペだけでなく画像コンペの話題などにも言及しており，その守備範囲の広さは流石でした！

isakaさんの資料(P13)

RihanPiggyさん (@rihanpiggy)

Rihanさんからは，RSNA2025の解法についての発表でした． 自身も改めて2025年のコンペを振り返っていましたが，2025年だけで画像コンペ，NLPコンペ，音声分類コンペと，様々な分野のコンペで金メダルを獲得していて憧れます！ 3Dモデルがなぜ今回のコンペでうまく機能したかや，モデルをなるべくたくさん突っ込むためのお話など，大変参考になりました． 夕方からは予定があり，懇親会には不参加で今回はゆっくり話せなかったので，また改めてゆっくりお話ししたいなと思っています． （お忙しいところ，ありがとうございました！）

yu4uさん (@yu4u) speakerdeck.com

yu4uさんは画像コンペの上位常連で，多くの知見をこれまでも勉強会などで発表していただいており大変感謝しております． yu4uさんからは，MABe(ネズミ)コンペの解法についての発表でした． 発表の構成も参加者がどのように取り組むか頭を使えるように，前提のデータやdiscussionで取り上げられていた部分を前半で丁寧に取り上げていただき，参加していなかった参加者の方にも配慮した素晴らしい発表でした．

最大4匹のネズミがいたため，自身は４匹のネズミを同時に予測するようなモデルを作り始めてしまい，時間がまったく間に合わずでしたが，yu4uさんはその割合がそこまで多くないことなどを踏まえて，２匹ずつのネズミに着目する方法を採用しておりました．

このコンペ，実際にデータ触ってみるとわかりますが，fpsやピクセルごとの長さなどが揃っておらず，センサーに欠損も多く，アノテーションも雑なデータが紛れていたりと，とにかく面倒な調整が非常に多いコンペで，良く言えばやりがいがあるコンペでした． 自身はタスクはネズミコンペの方が好きだったのですが，データがしんどすぎてNFLに逃げてしまいました． （たぶん，同じような理由でNFLやっていた方も多いのでは？と思っています）

スポンサーセッション

スポンサーがあることで会が成り立つ部分もあるので，ありがたい限りです．

どこの企業も技術力ある人がたくさんいて，kaggleをはじめ，技術のことをいろいろと雑談できるメンバーがいて魅力的だなと思いました！ すぐーさんが転職先に選んだ株式会社ビー・エム・エルは，すぐーさんを中心にこれからどんな風に盛り上がっていくのか，とても楽しみにしています！

各スポンサーの採用情報へのリンク

LT

カレーちゃんさん (@currypurin)

Kaggleのチュートリアル第7版の執筆が始まることもあり，そういったものを書くメリットなどいろいろと知らないこともあり，面白かったです． 自身も微力ではありますが，執筆をお手伝いする予定です！

すぐーさん (@sugupoko)

speakerdeck.com

自身はこういったLTが大好きなので，今後もこういったLTを誰か一人は話してほしいなと思っています！ 自身もロールモデルにしたい尊敬するkagglerがたくさんいますが，根本的な個体のスペック差があるので，どうやったらその差を埋めることができるのか常に悩み続けています．

自身

speakerdeck.com

すでに書いたので省略

懇親会

毎回思いますが，あっという間に時間が過ぎてしまいました．

出版社から書籍を準備していただいていたので，現地参加していた寄稿者のサインを入れて，学生，2025年に銅メダルをたくさん獲った方，全体からランダムでプレゼントさせていただきました． 残念ながら当選しなかった方で書籍を欲しい方は，書店でご購入いただけますと幸いです！

休憩時間も懇親会の時間もかなり長くとってくれていたにも関わらず，話したい人全員と話すことはできなかったので，次回現地でお会いできることがあれば，また改めてお話させてください！

全体の感想

今回，運営としての参加でしたが，当日に司会進行のパートを認識したため，次回は事前に決めておき，もっとうまく司会を務めることができたらと思っています． また，今回の登壇者は，自身の意向をかなり反映してもらっており，内容も直近コンペの振り返りを中心とした実践的な内容で，非常に満足度の高い内容でした． 1カ月くらいの準備期間しかない中での依頼だったのにも関わらず，快諾していただいた登壇者の皆様，改めてありがとうございました．

自分自身は，昨年の中盤頃のコンペで少し結果がついてくるようになっていましたが，その後から現在に至るまで，コンペで負け続けており，少し落ち込んでいましたが，改めて上位常連の方の発表を聴講し，まだまだ至らない部分ばかりであることを再認識する良い機会となりました． また，そういった上位Kaggerと競い合うことができたら，コンペ参加はもっと楽しくなると思っているので，まだ辛いことが多いですが，引き続き精進したいと思います．

これは余談ですが，自身のLTで2025年の会場のコンペ参加状況を確認しましたが，思ったよりも手が上がらなかったのは少し驚きでした． たぶん，そこまで力を入れていなかったみたいな理由で手を挙げていない方もいたと思いますが，もう少し手が上がって，懇親会時にその話題で盛り上がってもらえたらと思っていたので，少し申し訳なかったです． 手の上がる回数が特に多かったのは，以下の4名で印象に残っています（すでに帰っていませんでしたが，RihanPiggyさん (@rihanpiggy)も多い）．

このことから，やはり強くて勝てると，面白くてまた参加するみたいな正のサイクルが存在しているように思います． ゲーム全般に言えることですが，ほどよく勝てたりするから面白いと思う人の方が多く，力の差を痛感するコンペの場で負け続けながらも続けることの難しさが，今回のLTを通して痛感しました．

強い人は勝てるから楽しくて，参加を繰り返してさらに強くなっていくというところに，凡人がどのように積み重ねていけば善戦することができるのか，自身の中でも未だに答えは出ていませんが，自身は今後も挑み続けていこうと思っています．

去年，様々なオフラインイベントに参加する中で数人の方から，kaggleを楽しいと思うことがなかなかできず，継続することができないという相談を受けており，その解決策を何とか見つけたいなと思っています．

たぶん，根本的な原因は正のサイクルに入るための壁が高く，ある程度のベースの実力の有無は大きいと思っています． ただ，自身も決して実力があった方ではないですが，継続することで得られるものは多いと思っており，自身が何とか戦えるようになっているのは，そういった積み重ねのおかげだと思っています．

懇親会で会場にいた中で，銅メダルを一年間で獲った枚数が一番多かった方は2枚でしたが，自身は2023年，まったく勝ち切ることができず，銅×9枚でした．最近自身のことを知った方は，元から強かったと誤解しているかもしれませんが，こういった積み重ねがなければ，昨年の結果を得ることはできていないと思います． takaito0423.hatenablog.com

自分自身は強い人と渡り合えるようになりたい！という思いが行動の原動力の一つになっていますが，それ以外にもモチベーションを上げる方法もあると思っています． いくつか思いつく範囲のものは，当時の自身がまとめているので，参考にしていただけますと幸いです．

speakerdeck.com

自身としては，もっと多くの方にkaggleを楽しんでもらいたいと思っており，書籍を書いたり，イベントを企画したりして，今後も微力ながら貢献できたらと思っています． そのために現在も，いろいろと水面下で活動しており，今回の書籍のように，いつかそれらを発表できる日を楽しみに頑張っています！ （いろいろとまだ話せないことも多くて申し訳ないです）

おわりに

次回，関東kaggler会は8月開催予定です！

ぜひコミュニティ全体で盛り上げて行きましょう！

今後も何卒よろしくお願いいたします．

【書籍】『不動産AI成功パターン』の紹介

はじめに

昨年の2025年5月26日に出版された『不動産AI成功パターン』を紹介する記事となります．

読んだのはかなり前で，下書きを書いてからしばらく経っておりましたが，加筆する時間が取れたので公開しました．

個人的な感想ではありますが，購入を検討している人の参考になれば幸いです．

不動産AI成功パターン

書籍の概要

  • 著者: 不動産建設データ活用推進協会
  • 金融データ活用推進協会が出した「金融AI成功パターン」の不動産バージョンで，不動産業界の実務で実際にAIの活用がうまくいった事例などが紹介されている

オフィシャルの概要の抜粋

不動産業界で人工知能（AI）を導入・活用してきた先駆者が、自身の手法やノウハウを、実務に役立つ「不動産AIパターン」としてまとめました。 本書で提示するパターンは不動産業の実務を想定しています。各パターンを適用した実践的な事例も併せて紹介します。そのため、不動産業に従事する読者であれば、自身の業務にパターンを活用できるようになるでしょう。 ITやAIについての予備知識があまりなくても読み進められるような文章にしました。不動産業界の方はもちろん、金融業などで不動産投資を進める方、小売業で店舗の出店戦略を担当している方、IT業界で不動産業界向けのサービスを開発している方、不動産業界やAIに興味のある学生の方にも役立つ内容となっています。

感想

公開されている目次にある通り，以下のような内容で構成されています．

  • 第1章　機械学習の基礎知識
  • 第2章　ターゲティングAIパターン
  • 第3章　価値算出AIパターン
  • 第4章　UX向上・業務負荷低減AIパターン
  • 第5章　自然言語処理AIパターン
  • 第6章　画像認識AIパターン

「ITやAIについての予備知識があまりなくても読み進められるような文章にしました。」と概要に書いてある通り，最低限の知識は第1章で紹介され，各章においても専門的な知識がなくても読めるように内容がまとめられており，大変読みやすい書籍だと感じました． 逆に言えば，各手法についてはそこまで詳細に扱われていないため，気になる要素技術に関しては，別の書籍などで補完する必要があります． 学生や初学者であれば，気になる技術に関しては，コードなどが整備されており，手を動かしながら学べるような書籍を次に購入し，書籍の事例を一部再現してみると良いかと思います． また，不動産業界にお勤めの方に関しても，技術的な部署に所属していない方が本書を読むことで，技術適用の勘所をつかむきっかけとなり，社内でのAI活用がより進展するのではないかと思いました．

ドメイン知識に着目すると，自身は不動産業界に詳しい方ではありませんが，それでも特段読むのに困ることはありませんでした． 個人的には，不動産業界にどのようなビジネスモデルがあり，それらを行っていく上で，どのような課題が存在するのかを一部理解するための書籍として，非常に有用だと思いました． したがって，業界を悩んでいる学生にオススメしたい内容になっているように感じました． 特に，こちらも目次に書いてありますが，「2-2　全保連での活用例」，「2-3　マイクロベースでの活用例」，「3-2　ナウキャストでの活用例」，「3-3　シーラテクノロジーズでの活用例」，「4-2　GA technologiesでの活用例」，「4-3　GOGENでの活用例」，「5-2　estieでの活用例」，「6-2　LIFULLでの活用例」と具体的な企業の解決を目指す課題とその取り組みが書いてあり，不動産業界の課題感や技術職を目指す学生であれば，その仕事のイメージを一部つかむことができる内容だと思います．

この書籍で特に良いなと感じた点は，解説において「データ設計」，また，各社の活用事例の紹介の節において，「データソース」や「データ加工」といった泥臭いがデータ分析において最重要である部分を強調してしっかりまとめていることにあると思います． プレスリリース，研究論文，技術ブログなどでは，どうしても華やかな手法が中心に書かれることが多い中で，実務においてAI活用の成功のためにはデータをきちんと整備することが重要である点をきちんとまとめている点は，この書籍のタイトルにふさわしいと思いました． これらがしっかりと書かれている点も，不動産業界の非技術者の方に読んでもらいたい理由の一つです． さらに，各社の活用事例の紹介の節にある「苦労話・注意点」が自身は一番気に入っている点であり，学びが一番多かったです． どの企業もこの節の内容はとても参考になりましたが，その中でも「4-2　GA technologies」の内容が気に入っています． 内容は，ぜひ書籍を購入してご確認いただけますと幸いです．

タイトルに見合った十分な内容がまとめられていると思いますが，あえて追加でもっとあると嬉しいと思ったトピックは，生成AI，特にLLM（大規模言語モデル）の活用事例に関してです． 2025年発売ということもあり，2023年頃からLLMの台頭が始まっていたこと，バックグラウンドに関係なく誰でも活用が見込めることを考えると，これらの内容に関してもっと充実していると，今現在のAI活用に応用しやすく，より多くのアイデアが生まれるような気がしました． これは自身がLLMをはじめとしたNLP（自然言語処理）の分野に関心があるからかもしれませんが，上記の内容の需要はあると思うので，続編として「不動産AI成功パターン 生成AI特化編」が出るのを勝手に楽しみにしておこうと思います．

おわりに

人工知能学会で10年近く開催されている「不動産とAI」のオーガナイズセッションにいつか投稿をしたいなと思っていたこともあり，不動産業界の課題感を知る良いきっかけになりました．

もちろん，書籍のボリュームの制限や読者層を広くとるために，物足りないと感じる部分もあるかと思いますが，その分は専門書籍やweb上の記事にまとめられていますので，この一冊を起点に自身の伸ばしていく必要のある技術を見極め，知見を得ていくのが良いのではないでしょうか．

直近では，「第2回 国土交通省 地理空間情報データチャレンジ」も開催され，こちらのタスクは「3-3　シーラテクノロジーズ」で紹介されていたタスクとほぼ同じようなタスクかと思いますので，こういったコンペに参加することで，実際に手を動かしながら学ぶこともできるかと思います． 今後もコンペは開催されると思うので，次回コンペに備えることにもつながるかと思います．

最後になりますが，感想に書いたような層にはとても良い書籍だと思いましたので，もし興味があれば，ぜひ手に取ってもらえたら幸いです．

2025年振り返り

はじめに

今年も本当にあっという間の一年でした．

ここ数年，一週間以上前のことを思い出すのも大変になっているので，将来の自分のためにも毎年恒例の振り返りをしておきたいと思います．

参加していたコンペ

kaggle

チーム金×3，ソロ銀×2 (+1)，チーム銀×1，チーム銅×1でした．

昨年はソロ金×1，ソロ銀×1，チーム銀×2，ソロ銅×3でしたので，継続してきた結果，実力がついてきて，順位に出始めたことはとても嬉しく思います． これまでのコンペ参加によって培った経験を元に，やるべき工夫をきちんと実装することができたことや，いくつかのアイデアがきちんと刺さるようになりました．

個人的に印象に残っているコンペは，「NeurIPS - Ariel Data Challenge 2025」と「Jigsaw - Agile Community Rules Classification」です．

「NeurIPS - Ariel Data Challenge 2025」は昨年も参加しておりましたが，金圏を逃してしまっていたため，リベンジしたいと思っていたコンペでした． 特に，NLPコンペだけでなく，こういった物理ドメイン系のコンペで勝てるようになることが大きな目標として掲げていたこともあり，チームで金を獲れてとても嬉しかったです！ また，NeurIPSの登壇の枠も手にすることができ，NeurIPSデビューをすることができました．

2025および2024の参加記は以下にまとめておりますので，詳しくはそちらをご覧いただけますと幸いです．

takaito0423.hatenablog.com

takaito0423.hatenablog.com

「Jigsaw - Agile Community Rules Classification」は，始まってすぐに善戦できるコンペだと判断できたコンペでしたが，ほぼ3並列で戦っているコンペがあり，その最も最後のコンペだったこともあり，とても疲労している状態で，コンペ終了残り10日を迎えておりました． 「WSDM Cup」でチームを組んでいたMujirushiさんをリーダーボードに見つけて，チームマージの声かけをさせていただきました． 「WSDM Cup」で悔しい結果に終わってしまったこともあり，Mujirushiさんとは，いつかNLPコンペで一緒にリベンジをすることができたらと話していたので，年内に有言実行できて本当に良かったです．

Jigsaw も以下にまとめておりますので，詳しくはそちらをご覧いただけますと幸いです．

takaito0423.hatenablog.com

今年の金メダルに関しては，チームを組んでくれた皆さんのおかげであり，大変感謝しております． この場を借りてお礼を申し上げます．

NeurIPS - Ariel Data Challenge 2025

MAP - Charting Student Math Misunderstandings

Jigsaw - Agile Community Rules Classification

まだソロで金メダルを獲得するには運のウェイトが非常に大きいため，引き続き，ソロ金獲得が安定してできる実力を目指してkaggleに参加しながら実力を高めていけたらと思っております．

また，昨年から corochannさんの「[Competitionsだけじゃない！Kaggle Notebooks Grandmasterのすすめ」をきっかけに，Notebookも積極的に公開するようになり，Notebookのランキングも二桁になりました． 英語が苦手なことや実力も伴っていないため，質の高いNotebookやdiscussionを投稿できている自信はないですが，続けていくことで良くなっていくと信じて，今後も続けていきたいと思っております．

kaggle以外

kaggle以外のコンペは，忙しかったこともあり，なかなか参加できず，atmaCupだけの参加でした． 昨年の後半から今年の前半にかけて上振れを引き続けておりましたが，直近二回のコンペは惨敗でした．

gotoさんからは，関西kaggler会で「ディフェンディング戦頑張ってください！」と言われておりましたが，これまで運が良かっただけで，実力不足を痛感する11月と12月でした． そもそも自身は強者ではなく挑戦者だと思っているので，まだ獲得できていないソロで総合1位を目指して，来年も頑張ります！

atmaCup#19とatmaCup#20の参加レポートも記事にしておりますので，良かったらご覧ください！

takaito0423.hatenablog.com

takaito0423.hatenablog.com

その他の活動

今年も関東Kaggler会のLT(ライトニングトーク)と関西kaggler会で発表を行いました． 昨年の関西kaggler会は，体調不良で登壇し，すべてが不完全燃焼でしたので，今年は納得のいく登壇をすることができて良かったです．

今年のKaggler会の参加レポートもまとめております．

takaito0423.hatenablog.com

takaito0423.hatenablog.com

takaito0423.hatenablog.com

年明けには，第5回関東Kaggler会が控えており，自身も今回から運営に加わります． たくさんの方と現地で話をしたいと思っておりますので，ぜひ気軽に参加申込していただけますと幸いです！

kanto-kaggler.connpass.com

また，これまで勉強会などに関して，開催されるものに登壇したりして微力ながら貢献してきましたが，よりコミュニティの活性化に貢献できたらと思い，勉強会の開催の主催および司会・進行も行いました． 忙しくて，そのときの記事などは書けておりませんが，今後も無理のない範囲で，勉強会の開催などにも携わることができたらと思っております．

コミュニティの貢献として，今年の活動の中で，書籍執筆はかなり力を入れて取り組んでおりました． 初の書籍執筆ということもあり，苦労もたくさんありましたが，育ててもらったコミュニティに対して少しでも還元できたらと思い，書き上げました．

書籍執筆の理由などは以下にまとめておりますので，よかったら購入の参考にしていただけますと幸いです．

takaito0423.hatenablog.com

それ以外にも，人工知能学会の企画委員(コンペティション担当)にも入れていただき，微力ながらお手伝いをさせていただきました． 書籍執筆および人工知能学会の企画委員では，u++さんにお世話になることが多く，物事の進め方など大変勉強になる一年でした．

学会周りでは，国際会議のプログラム委員や国内の研究会の幹事も担当し，座長デビューもしました．

リサーチ面に関しては，国内学会12本（うち筆頭5本），国際学会4本（うち筆頭1本）でした． 国際会議では，Best Paper Award (投稿数453件に対して2件)を受賞することができたことや，よく目にするAIの有名なカンファレンスマップに記載のある学会でも発表の機会をいただくことができ，少しずつではありますが質に関しても向上してきたので，今後も伸ばしていきたいと思っております．

ML, DM, and AI Conference Map
(Toshihiro Kamishima Software and Data Setsより引用)

共著者のフォローなしでトップカンファレンスにアクセプトされる可能性はまだまだ低いので，客員研究員などのポジションをうまく活かして，来年はより研究に力を入れたいと思っています． 今年はジャーナルは0本でしたが，査読に時間がかかっているものが複数あるのと，投稿に向けて仕掛けているものは複数あるので，楽しみにしておいてもらえたらと思います．

それ以外にも，非常勤講師として15回の講義を担当したことや，登壇を何回か行う機会があり，良い経験ができました．

総括

今年は，いろいろと新しいことにチャレンジする一年でした． 正直に言えば，かなりしんどい一年で，体調もメンタルも崩しかけていましたが，多くの人の支えもあり，何とか乗りきることができました． また，そんな中で継続してきたkaggleやatmaCupでも，結果を残すことも少しはできてよかったです． とはいえ，11月と12月は複数のコンペで惨敗しており，かなり悔しい思いをしているので，もっと再現性のある実力を目指して，引き続き頑張ります． また，今年の目標に2ヵ月に1度はオフの日を作るというものを設定していましたが，こちらの目標が未達なので，来年こそはオフ日を作るようにしたいと思います．

忙しい一年ではありましたが，今年もオフラインイベントには積極的に参加し，リアルで多くの方とお話することができてよかったなと思っています． 引き続き，オフラインのイベントには積極的に参加していけたらと思いますので，ぜひ見かけた際には気軽にお声がけいただけますと幸いです． ご飯とかのお誘いもお待ちしております！

今後の目標

書籍の紹介ページに書いた「書籍執筆の思い」の通り，最近は自身の成長だけでなく，コミュニティへの貢献をどのようにしていくかを考える時間が増えました． コミュニティが活性化することは，巡り巡って自身のさらなる成長につながると思っており，今後も継続していくことができたらと思っています． 一方で，イベントなどで登壇する側は現状ボランティアとなっており，登壇するメリットがあまりないため，より良い仕組み作りについても今後は考えていきたいなと思っております．（自身は気にしないタイプですが強い人が登壇することで得られるメリットがある仕組みがあることで，もっと登壇の質が高まっていくといいなと思っています）．

勉強会の開催だけでなく，教材となるコンテンツ作成やコンペの開催など，次に取り組んでみたいこともたくさんあるので，何とか時間を見つけて，それらの準備をしていけたらと思っています． このあたり，一人で企画していくのは限界があるので，興味関心がある人がいたら，教えていただけますと幸いです！

また，自分自身が憧れているkagglerとは，まだまだ能力の乖離があるので，仮にGMになっても，継続してkaggleに挑み続けていくことができたらと思っています． 今後もコテンパンに負けながら挑み続けることで，一部のkagglerの心の支えになることができたらと思っています！

おわりに

今年もたくさんの人にお世話になりました． 来年は，オフ日を作ることに加えて，competitionとnotebookのGMになることを目標に頑張ります！ 引き続きkaggleをはじめ，コンペに参加していく予定ですので，来年もどうぞよろしくお願いいたします．

Jigsaw - Agile Community Rules Classificationのまとめ

はじめに

2025年7月24日〜2025年10月24日に開催されたJigsaw - Agile Community Rules Classificationというkaggleで開催されたコンペに参加し，参加者2,934人，2,445のチームが参加する中で11位の順位で終えることができました．

いつものような振り返り記事ではなく，来月出版予定の『Kaggleではじめる大規模言語モデル入門 自然言語処理〈実践〉プログラミング』の応用編のフォーマットに則って，こちらのコンペのまとめを行えたらと思います．（細かい形式や図表番号，解法の取り扱い方などはブログ記事であるため，書籍とは多少異なります）

jigsaw-agile-community-rules (by Nano Banana)

コンペの情報

URL：https://www.kaggle.com/competitions/jigsaw-agile-community-rules

開催期間：2025年7月〜10月

順位：11 位（金メダル、チーム参加）

コンペの概要

Reddit (海外の掲示板型SNS) のコメントとルールが与えられ，該当コメントが指定されたルールに違反しているかどうかを分類するタスクでした． コンペの訓練データとして提供されている train.csv で出現するルールは以下の2つとなります．

  1. No Advertising: Spam, referral links, unsolicited advertising, and promotional content are not allowed. (広告禁止：スパム、紹介リンク、未承諾の広告、および宣伝コンテンツは禁止されています。)
  2. No legal advice: Do not offer or request legal advice. (法的助言禁止：法的助言の提供または依頼を行わないでください。)

以下に例を示します． 「There is no jurisdiction I am aware of that would consider this to be self defense. (私が知る限り、これを正当防衛とみなす司法管轄区域は存在しません。)」というコメントが与えられたとき，1. のルールには違反しておらず，2. のルールでは違反しています． したがって，1. のルールと合わせてコメントが与えられた場合は0に近い値，2. のルールと合わせてコメントが与えられた場合は1に近い値を出力するようなモデルを開発することが求められるコンペでした．

コンペの評価

評価指標は二値分類のタスクでよく使用される AUC (Area Under the Curve) が採用されていました． AUC の特徴は評価対象となるデータの順序関係が重要な指標です． 例えば，100 件のメールに 5 件のスパムメールが含まれているようなデータを考えた場合，その予測値が 0 から 0.1 の値に収まっていたとしても，5 件のスパムメールの予測値が 0.1 付近で，それ以外のメールの予測値が 0 から 0.1 にまんべんなく散らばっているようであれば，AUC の値はとても高くなります． このように，予測値の順序関係のみでスコアが決まるため，予測値のスケール調整に気を遣う必要はなく，複数モデルの予測のアンサンブルなども容易であり，比較的取り組みやすい評価指標の一つです．

コンペの特徴

コンペの訓練データとして提供されている train.csv とテストデータである test.csv には，コメント (body) とコメントが投稿されている掲示板のトピック (subreddit)，そしてルール (rule) が含まれます． それらに加えて，このコンペでは，訓練データおよびテストデータに，正例 (違反する) コメントと負例 (違反しない) コメントが2つずつ与えられていました． テストデータのイメージを以下の図に示します．

データの例

正例と負例には，重複が非常に多いという特徴がありました． また，あくまでルールに対する例として与えられるため，subreddit との対応関係もなさそうでした． Discussion内でホストが，コメント (body) に対する正解データのアノテーションプロセスにおいても，subreddit を使用していないと言及があったため，subreddit は削除しているチームが多かったです (1位から5位は subreddit を意図的に使用していませんでした)．

このコンペの最大の特徴として，テストデータには訓練データの2つのルールに加えて，未知のルールが複数存在していました． コンペ序盤の段階で，LB Probing (提出notebookを用いてテストデータのデータを調査する方法) により，未知のルールは4つ存在することが discussion 上に公開されていました． さらにその4つのルールに関しても，複数人の kaggler が協力することでコンペ開始一カ月頃に明らかになりました． 具体的にテストデータでは，訓練データに含まれる2つのルールに以下に示す4つのルールが追加され，6つのルールがあることが判明しました．

  1. No Advertising: Spam, referral links, unsolicited advertising, and promotional content are not allowed. (広告禁止：スパム、紹介リンク、未承諾の広告、および宣伝コンテンツは禁止されています。)
  2. No legal advice: Do not offer or request legal advice. (法的助言禁止：法的助言の提供または依頼を行わないでください。)
  3. No financial advice: We do not permit comments that make personal recommendations for investments, taxes, or careers. (金融アドバイス禁止：投資、税金、キャリアに関する個人的な推奨を行うコメントは許可しません。)
  4. No medical advice: Do not offer or request specific medical advice, diagnoses, or treatment recommendations. (医療助言の禁止：特定の医療助言、診断、治療法の推奨を提供または要求しないでください。)
  5. No promotion of illegal activity: Do not encourage or promote illegal activities, such as drug-related activity, violence, exploitation, theft, or other criminal behavior. (違法行為の助長禁止：薬物関連活動、暴力、搾取、窃盗、その他の犯罪行為など、違法行為を助長または推奨しないでください。)
  6. No spoilers: Do not reveal important details that would limit people's ability to enjoy a show or movie. (ネタバレ禁止：番組や映画を楽しむ妨げとなる重要な詳細を明かさないでください。)

(3から6がテストのみに出現するルール)

LB Probingによりルールは判明したものの，結局その判定 (アノテーション) 基準が不明であったため，データ拡張によるスコアアップはあまり機能していないようでした． これは，ルールが判明する前から上位にいたチームのスコアが，ルール判明後に大きく伸びなかったことや，他チームが劇的にスコアを伸ばし，上位の順位の入れ替えが起こらなかったことから，ある程度はコンペ開催期間中に察することができました．

このコンペの特徴は，正例と負例のコメントが2つずつ与えられていたことと，テストのみに存在するルールがあったことであり，Test Time Training (TTT) と呼ばれる，提出 notebook 内でモデルを学習 (ファインチューニング) するテクニックが非常に強力でした．

ベースライン

ベースラインは大きく2つ存在しました．

LLM を train.csv でチューニングする方法 (by monnuさん)

コンペ開始直後に公開されていた最も王道な方法を紹介する notebook で，このコンペで2番目に upvote の多かった notebook です． notebook は，学習と推論に分かれていました．

簡単に紹介すると，Qwen2.5-32B-Instruct-GPTQ-Int4 を LoRA でファインチューニングしています． プロンプトは，システムプロンプトとメインのプロンプトを使用しており，それらを以下に示します．

  • System Prompt
You are given a comment on reddit. Your task is to classify if it violates the given rule. Only respond Yes/No.
  • Prompt
{row.subreddit}
Rule: {row.rule}

1) {row.positive_example_1}
Violation: Yes

2) {row.negative_example_1}
Violation: No

3) {row.negative_example_2}
Violation: No

4) {row.positive_example_2}
Violation: Yes

5) {row.body}

プロンプトに与えられている例を利用しており，まったくモデルを学習させない場合，few-shot 分類 (この場合は four-shot) と呼ばれるようなプロンプトとなっております． train.csv のデータを用いて検証すればわかることですが，まったくモデルをファインチューニングせずに few-shot 分類をおこなっても，期待するような精度は出ませんでした． したがって，こちらの notebook は，このコンペのタスクに特化した few-shot プロンプトによる分類性能の向上を狙ったモデルのファインチューニングを行っていることになります．

LB で 0.872 のスコアが出る notebook であり，一般的な NLP コンペのベースラインとして申し分ない notebook でした．

ただし，このコンペの特徴であるテストデータにのみ存在するルールへの対応に限界があるため，この方法をベースにした手法のみで上位入賞は難しいコンペでした． (解法の一部にこちらの手法を取り入れているチームはいました．)

Test Time Training

コンペの特徴で紹介した提出 notebook 内で test.csv のデータも活用してモデルを学習させる方法です． モデルは BERT 系統のモデルのファインチューニングと LLM の RoLA チューニングの大きく二通りが存在していました． まず，test.csv を用いてどのように訓練データを作るかを説明します．

先ほど示したデータの例を改めて，以下に示します．

データの例

正例①，正例②，負例①，負例②が与えられているので，例えば，bodyのみの訓練データをテストデータから作成する場合，以下のようなデータを作成することができます．

bodyのみの訓練データ

このような訓練データでモデルをチューニングすることで，以下のような形式のテストデータの予測が可能になります．

bodyのみを用いたテストデータの分類

それ以外にも，例えば，正例②を body とみなし，正例①と負例②を few-shot (two-shot) の例としてプロンプトに使用するようなデータ作成も可能であり，このような方法で作成したデータを以下に示します．

body + few-shot の訓練データ

このような訓練データでモデルをチューニングすることで，以下のような形式のテストデータの予測が可能になります．

body + few-shot を用いたテストデータの分類

このように，テストデータを用いて訓練データを作成することで，テストデータにしか存在しないルールの分類の判定基準を学習させることが可能になります． BERT 系統の軽量なモデルは，高速に学習が可能である一方で，LLM の学習には時間がかかるため，データの一部削除や学習方法の工夫による高速化が求められました．

BERT 系統のモデルは，シンプルな分類タスクの学習だけでなく，距離学習を用いた方法なども共有されていました． LLM は分類用の SequenceClassificationHead (SC Head) を利用する方法もありますが，推論時の速度を考慮すると vllm を利用する方が推論を高速化することができるため，LanguageModelHead (LM head) による方法が人気でした．

上位解法の紹介

大きなマジックはないコンペでした． 基本的にはベースラインの手法を元に，大きく2つのエンハンスが重要だったコンペだったと思います．

  1. kaggle 環境で学習が可能な LLM の中で，より大きいモデルを使用
  2. 多様なモデルや方法を用いたアンサンブル

このコンペでは8位のチームまで賞金がもらえるコンペでしたが，5位のチームを除いて7チームが14Bのモデルを使用しており，5位と9位のチームも 8B，7B のモデルを使用していました． 一方で，9位から15位までの賞金を逃したチームの中で，14B を使用していたチームはありませんでした． したがって，14B のモデルを解法に組み入れることができたかどうかという点が，勝敗を分けた一つの要因だと思います． TTT は，kaggle 環境で学習を行う必要があるため，メモリおよび時間の制約があります． QLoRA + unslothを利用することで，T4 × 1 枚で 14B くらいまでのモデルであれば学習が可能であり，T4 x 2 枚の kaggle 環境は並列実行が可能でした． もちろん，学習には時間がかかるため，訓練データに含まれる無駄な重複の削除やサンプリングなどが必須でした． 上位8チームが使用していたモデルは以下の通りです．

モデル 使用していたチーム メモ
Qwen3-14b 1st, 2nd, 3rd, 4th, 6th, 7th, 8th Qwen, 14B
Qwen2.5-14b 3rd, 6th Qwen, 14B
phi-4-14b 2nd, 7th phi, 14B
llama2-13b 8th llama, 13B
Qwen3-8b 1st, 2nd, 3rd, 5th Qwen, 8B
Qwen3-8B-Guard 7th Qwen, 8B, 特化モデル
Qwen2.5-7b 2nd, 3rd Qwen, 7B
gemma-2-9b-it 7th gemma, 9B
shieldgemma-9b 7th gemma, 9B, 特化モデル
llama3.1-8b 1st, 5th, 8th llama, 8B
Qwen3-4b 1st, 4th Qwen, 4B
Qwen3Guard-Gen-4B 6th Qwen, 4B, 特化モデル
Qwen3-32b 5th Qwen, 32B (ローカル環境でチューニングしたものをそのまま使用)
Ettin-xxxx 1st 埋め込みモデル，400m, 1b など
bge-xxxx 3rd, 5th, 8th Qwen, 14B | 埋め込みモデル, small, base, large など
gte-xxxx 5th Qwen, 14B | 埋め込みモデル, small, base, large など
DeBERTa-xxxx 3rd, 5th Qwen, 14B | small, base, large など
Qwen3-embedding-0.6b 3rd, 5th 埋め込みモデル

今回のタスクと似たようなタスクに特化して調整された特化モデルを見つけるのも有効だったようで，7位のチームが使用している shieldgemma-9b は 14B の性能を凌駕していたと解法に紹介がありました．

ここまで使用していたモデルのサイズに注目してきましたが，合わせてアンサンブルも重要でした． 例えば，1 位のチームは Ettin-400M をアンサンブルの一つとして採用していました． 3位のチームは，14Bや8Bのモデルだけでなく，bge-base-v1.5，Qwen3-embedding-0.6b，DeBERTa-v3-small などの軽量なモデルも採用していました． 5位のチームは，上位で唯一 14B モデルを採用していませんでしたが，軽量なモデルをたくさん採用しており，距離学習である Triplet Loss を用いたモデル学習や，埋め込みを行ったベクトルに対して，ロジスティック回帰や knn などのクラシックな手法も採用していました．また，ベースラインで紹介した TTT をしない 32B モデルによる推論などもアンサンブルに組み込むことで，14B を使用せずに上位入賞を達成していました．

(各チーム，細かくスコアを伸ばすためのテクニックが解法に記載されていますが，本当に効果があるか確かめるための再現実験をする時間がとれなかったので，このブログでは共通している部分の紹介に留めようかと思います．以下は効果を確認していないですが，使用して有効だったと記述があったものを列挙したものとなります．)

  • Yes/No の token の表記揺れ対策に，["Yes","YES","Y","yes","True"]，["No","NO","N","no","False"] などの生成確率も考慮する (1st)
  • シェルスクリプトで実行することで Dual GPU Parallel Scheduling (2nd)
  • Pseudo-Label (4th)
  • Deep Mutual Learning (6th)

当チームの解法紹介

15位までのチームで公開されている解法を確認したところ，他の14チームは，8B 以上のモデルを採用していました． 一方で，当チームは下記の図に示す通り，唯一，4Bまでのモデルを使用しています．

11th Place Solution — Jigsaw

図に示したモデルをすべて TTT しています． zero shot は以下のような形式の訓練データでモデルを学習させています．

bodyのみの訓練データ
few shot は以下のような形式の訓練データでモデルを学習させています．
body + few-shot の訓練データ

工夫した点は以下の通りです．

アンサンブルを重視

大きいモデルよりも小型なモデルをたくさんアンサンブルすることを重視していました． また，5位チームも採用していた距離学習である Triplet Loss を用いたモデル学習なども採用することで，多様性が出るように意識した手法を取り入れるようにしていました．

Test Time Augmentation (TTA)

プロンプトの長さが長くなる few-shot 分類のチューニングは，性能が良い一方で多く時間を使用するというデメリットがありました． 一方で，推論はそこまで時間を消費しないため，正例①，正例②，負例①，負例②から正例と負例を選ぶ計4通りの推論を行うことで性能の底上げをしました．

Pseudo-Label

LB で 0.93 程度のスコアが出ていたこともあり，有効だと考え採用しました． 特に，与えられる例は重複がとにかく多く，より多様なコメントで学習を行うことが有用だと考え，前段のモデル群で推論した結果をもとに，ルールごとに上位と下位 xx % のデータを訓練セットとして使用しました． このときに工夫した点として，LLM の学習には時間がかかるため，前段でチューニングしたLora adapter を使用することで，継続する形で LLM のチューニングを行いました． コンペ終了後に，各サブの Private Score を見ましたが，この LLM の Pseudo-Label がないサブでは，金圏に残ることができていなかったため，当チームのスコアを底上げしてくれていました．

個人的な反省

ここからはいつも書いているような個人的なメモです．

コンペが終了した今では 14B のモデルを試すべきだと反省していますが，コンペ開催期間中はとにかく多くのモデルを積んだ方が良いと考え，サイズの大きいモデルを使用する選択肢を外してしまっていました． また，BERT 系統のモデルを手元で検証したところ ，xlarge や large よりも base や small の方が性能が良かったこともあり，LLM のサイズも大きくしたところで，あまり効果が期待できないと考えていました． このあたりは取捨選択も大事ですが，可能な限りすべての可能性を試すべきだなと改めて思いました．

BERT 系統はかなり高速化のテクニックが身についていましたが，LLM の高速化などはまだまだ詰めが甘く，14B を採用したら時間の多くが取られてしまうと思っていたので，このあたりのテクニックも改めて学び直す良いきっかけになりました．

おわりに

Jigsaw コンペは，TTT が非常に大事なコンペであり，手元に GPU がなくても上位入賞が可能な近年では珍しい NLP コンペでした． 本業，客員研究員，非常勤講師，書籍執筆など，忙しい中での取り組みでしたが，何とか上位入賞できてよかったです． さらにこの時期は，「NeurIPS - Ariel Data Challenge 2025」や「MAP - Charting Student Math Misunderstandings」と連続でコンペに参加しており，残り10日間で何とか金圏復帰を目指す戦いをしておりました． 短い時間で試行錯誤をたくさん回すことができたのは，このタイミングでチームを組んでくれたチームメンバーのおかげであり，大変感謝しております．

本記事は特段レビューもなく趣味の一環で書いたものですが，書籍の応用編では，NLP コンペで大活躍している著名な Kaggler の皆様に寄稿してもらっており，さらに複数回のレビューも行っています． テキストデータおよび LLM の活用は，現在，非常に注目が集まっており，その活用を手助けするような内容を心がけました． 書籍に込めた思いは，以下の記事にまとめてありますので，良かったら参考にしてください．

takaito0423.hatenablog.com

来年もいろいろなコンペに参加しようと思っておりますので，同じコンペに参加するときには何卒よろしくお願いいたします．

最後まで読んでいただき，ありがとうございました！

「関西Kaggler会 交流会 in Osaka 2025#3」の参加レポート

はじめに

2025年11月14日(金)に開催されていた関西Kaggler会 交流会 in Osaka 2025#3に参加してきました．

個人的な備忘録と自身の発表の補足などがメインとなりますが，何かの参考になれば幸いです．

なお，細かい内容に関してはクローズドな会(アーカイブは公開されない)なので，この記事では深く掘り下げて書きません． 技術やtipsを知りたい方は，公開されている発表資料をご確認いただけますと幸いです．

関西Kaggler会に関して

関西Kaggler会は，有志によるKaggleコミュニティです． 関西を拠点に，企業や組織の垣根を超えて，データサイエンティストの交流を促すために活動をしています． 数名でのちょっとした集まりからスタートしており，現在では平日にも関わらず，毎回100名以上が参加する一大イベントです．

  • 参加者: スタッフやスポンサーを入れて現地140人くらい？
  • 第1部講演: 4件
  • 第2部講演: 4件
  • スポンサーセッション11件
  • 懇親会

これまでは年間3回の開催だったが，関東kaggler会の定期的な開催や関西kaggker会の規模拡大などもあり，今後は年間2回(5月と11月)の開催を予定しているとのことでした！ 今回の会の終了時点で，すでに次回の会の日程が確定していて，mgnさんの運営力の高さを感じました．

関西Kaggler会 交流会 in Osaka 2026#1

登壇に関して

登壇の理由

会場提供やスポンサー企業になることはできませんが，少しでもコミュニティーの発展に貢献したいと思っているのが第一の理由です．

あとは，昨年の夏に開催された関西kaggler会で，体調を大きく崩してしまい，まともな準備も発表もできずに終わった苦い経験があり，いつかもう一度発表する機会をいただきたいなと思っておりました．

発表内容に関して

もともとは第1部での発表予定でしたが，Ryushiさんが国際人工知能オリンピックの海外出張の関係で，1週間前に第2部での発表となりました． 技術的な話題と向き合い方のようなモチベーションアップにつながるような発表をするかで3日ほど悩みました． いくつかの理由から，後者のテーマで資料を作ることにしました．

  • 平日開催で参加するのは自身も難しいことが多く，技術的な話題の発表を聞く機会を逃していることに思うところがあるため，技術的な話題はなるべく参加者が多かったりアーカイブが残る形で発表するようにしたい
  • connpassから参加者の一覧を確認したところ，いつもより初学者や中級者が多いように見えた
  • 技術的な話(例えばNeurIPS - Ariel Data Challenge 2025の解法解説など)は，一部の参加者には強く刺さる一方で，多くの参加者にはその技術の使いどころをすぐに見つけて活用することが難しく，次の日に試してみよう！となりにくい

個人的には，kaggleで伸び悩んでいる人や数年参加できていない人も多い中で，kaggleでなくてもいいので，少しでも前向きになり，次の日から少し何かに打ち込んでみようと思える発表の方がいいかなと思い，モチベーションが上がるような内容を発表することにしました．

資料はこちらにアップロードしております．

タイトルの「未完」に関しては，前日の深夜に作成していたスライドが一部保存されておらず，焦って資料を作り直しており，一部未完になっていたからとかではなく，自分自身の現状はまだまだ通過点であり，今後も上を目指して走り続ける的な意味合いを強く持たせたものにしたいと思いつけております． また，誰かは気づいてくれるかなと思っていましたが，自身はMr.Childrenの曲がとても好きで，前回の関西Kaggler会では，「Mr.Children Stadium Tour 2015 未完」の物販で買えるタオルを首にかけてました．(データのじかんに取り上げられている自身の登壇写真を見るとわかります．) 今回はバタバタしていて，タイトルにしているのにタオルを持ってくるの忘れてしまいましたが，「未完」という曲はとても好きな一曲で，今回の発表資料はこの曲が収録されている18thアルバム『REFLECTION』)を聴きながら作成しました． 結果的に，作り直した資料に未完というタイトルがMr.Childrenの曲から引用したことがわかるように，最後に歌詞の一部を入れたスライドをもともと入れていたのですが，再作成し忘れてしまい，スライドも未完となっていました． もしよかったら，『REFLECTION』は名曲揃いなので，ぜひ購入して聴いてみてください． 個人的には，Mr.Childrenという圧倒的な大成功を収めているバンドが，デビューして20年以上経ったタイミングでこの曲をリリースしているということが，大きな意味を持っていると思っています．

感想

各資料は出そろったタイミングで後ほどリンクを追加予定です．

第1部

paoさん & ryushiさん

日本人工知能オリンピックでの中高生育成に関するお話でした． 自分自身の自己研鑽だけでなく，コミュニティへの貢献に対する意識がコミュニティ全体で高まっているように感じており，とても良いことだなと思っています． 自身も人工知能学会のコンペ委員に今年からなったこともあり，先輩方を見習って，このあたりの活動にも，微力ながら貢献していくことができたらと思っております．

bobfromjapanさん

自作の機械学習用マシンを作る話でした． 電気代の秘密が個人的にツボでした．

このあたりは，少し古いですが，合わせてかえるるるさんのこの記事とかも参考になると思います．

自身もA6000を購入する際に，いろいろとＸでコメントをもらったものをまとめております． takaito0423.hatenablog.com

しぃたけさん

エチレンさんやespritさんがニコニコしながらハックしそうなリーダーボードを作成したというお話でした． しぃたけさんの筋肉に対する熱量は「狂気」を感じたので，Kaggle GMの素質を持っていると思いました．

ryochinboさん

技術をどのようにして使ってもらうかという点において，とても参考になる内容でした． 自作ツールの命名などでもセンスを発揮して笑いを取っており，自身もそういったセンスを身に着けたいなと思いました．

第2部

takaito

自身の発表に関しては，前述した通りです． 少し補足すると，次の登壇者のchumajinさんが，登壇資料を早い段階で作成し，タイトルをXで公開していたので，そこにいい感じに合うような内容というのも，そういえば資料作りのときに，考えていました． また，当日のしぃたけさんの発表内容などもうまく触れたりできたのは，個人的に成長を感じました． 可能な範囲で多くのkagglerをスライド内で紹介したいとも思っており，そういった内容を心がけていました．

補足しておきたいのは，基本的に自身はあらゆる面で外れ値の自覚があるので，活動量や睡眠量を真似をするべきとかはまったく思っておりません． 正直，自身ももっと睡眠時間を確保したいですし，健康を大事にし，体を鍛えたり，楽器の練習したり旅行行ったりともっと楽しい毎日を過ごしたいと思っています． ただ，もう少し取捨選択を丁寧に行い，そのうえで何か自身のやりたいことを一つ決めて継続して行っていけば，ある程度の能力を身に着けることが可能だと思いますというのと，kaggleであれば才能がないと思っていても5年くらい続けていれば少しずつ勝てるようになってくるはずというのが，自身の伝えたかったことです． 特にkaggleに関して，きついと思うときは必ず訪れると思っており，そのときには，まだ弱弱だったころの自身のLT資料でも見て，また歩みを再開してもらえたら幸いです．

speakerdeck.com

質問に対しては，気合で何とかするくらいのことしか言えず，再現性がないことを申し訳なく思いました． とはいえ，いろいろな才能がない人間はとにかく気合で努力量で勝負しないといけないですが，参加者のほぼ全員，自身よりも勉学の才能とかあると思うので，才能×努力量を踏まえて，同様の努力量は不要な気がしています． あと，モチベーション維持はかなり大切で，漫画や音楽などで自身はモチベーションを維持していますと話した際に，司会進行のmgnさんに前者を聞かれて，とっさに学マスと答えてしまったのはかなり恥ずかしかったです．（直近一番影響を受けたというだけで，他にもたくさんの作品の影響を受けています．） 音楽で振ってくれていたら，「未完」の話ができたので，音楽でモチベーションを維持していると，こちら側がパスを出すべきだったなと反省しております．

chumajinさん

chumajinさんは，根底的な考えが自身と近いと感じることが多く，とても納得しながら聴講しておりました． GMはどこか狂気を感じるとのことで，自身も狂気を身に着けたいなと思いました．

きょうへいさん

kutoの由来を知ることができました． 今回の関西kaggler会で一番，汎用的で実用的な話でした． どのようにして，解法をわかりやすくスライドにまとめるかという内容で，学会などでのポスター発表などでも使える話で，大変参考になりました． ただ，自身はこのあたりのセンスが皆無なので，外注して解決するなら外注して解決したいと悪魔がささやいているので，いくらから外注できるか気になります．

しんちろさん

直近のMAPコンペを題材に，量子化×チューニングの組み合わせ実験などを紹介してくれました． 今回，技術的な話が全体で少なかった中で，硬派な内容かつ実用的な内容で，参考になった方は多かったと思います． 質問では，どう選ぶべきですか？さらに組み合わせも可能ですか？など，活発に質問も出ておりました． 個人的には，タスクの難易度，アノテーションラベルの精度，データ量，事前学習との相性などに強く依存するため，可能ならすべて試すべきだと思っています（Do Everything!!）．

懇親会

久しぶりにお会いする方ばかりで，あっという間に時間が過ぎてしまいました． 個人的には，takuokoさんさんとお話できたのが一番嬉しかったです(感謝を伝えたいと思っていたこともあり)！

今回，休憩時間も懇親会の時間もかなり長くとってくれていたにも関わらず，話したい人全員と話すことはできなかったので，次回現地でお会いできることがあれば，また改めてお話させてください！

その他1

自身は，関西kaggler会の開催される金曜日よりも前までにやらないといけない，締切の決まったタスクがたくさんあったため，関西kaggler会の発表の後のことをまったく何も考えておらず，（基本何とかなると思っているので）宿泊先の予約もしていませんでした． 懇親会終了後は，18名くらいで居酒屋に移動し，イベント内では話すことができなかった人たちともたくさん話をすることができました． その後，多くの方は帰られましたが，数名でゲームやボードゲームがたくさん置いてあるBarに行き，カタン，トポロメモリー，人狼などに熱中していたら，あっという間に閉店時間なっていました． お店のシステムや料金設定，店員さんの対応もとても親切で，とても楽しい時間を過ごすことができたので，また大阪市内に行くときには利用することができたらと思っています！

解散後は，近くで朝から営業していたスーパー銭湯でサウナを満喫し，午後は大阪を少し観光し，前々から気になっていたお店に行くことができました． 都内のスーパー先頭に行ったことがないのでわからないのですが，関西の方はサウナハットやマットを持参している方がとても多くて驚きました（地域特有の差なのか？最近のサウナブームによるものなのか？）．

ここ数カ月，リフレッシュする機会が取れていなかったので，とても良い気分転換になりました． ボードゲームなどはもともととても好きなので，もう少し，定期的にやる機会を作りたいなと改めて思いました． また，次回以降で関西kaggler会に参加するときには，余裕を持って予定を立てて，普段なかなかお会いすることができない関西済みの方とご飯行ったりできるようにしたいなと思いました． これからkaggleを始める予定のEugene_wellさんは，オールしても元気だったので，次合うときには金メダル保持者になっているのではないかと楽しみにしております．

その他2

いつも話していますが，なるべく初参加やはじめたばかりで知名度がまだない方が楽しく過ごせるように，KagglerとKagglerを繋げることができるように今回も心がけました． 決して多くはないですが，話しかけてくれた方の何人かは，話が合いそうなKagglerを紹介したりできました． 今後もkaggleなどの対面イベントで，話す人がいなくて不安だよって人は，とりあえず自身に声をかけにきてくれれば，話が合いそうなkagglerを紹介するので，気軽に声をかけてください！

その他3

今回，モチベーションの維持の話をしましたが，やはりkaggleの参入障壁は年々上がっており，なかなか楽しさを見いだせず，継続が難しいという声が数名からありました． 自分自身，現在はkaggleが楽しいと思うこともありますが，やはり勝つことがまったくできず，ソロで戦い続けていた数年間はかなりキツいものがありました． 個人的には，実力の近い人やリードしてくれる先輩や知人がいれば，そういった方とチームを組むことや，対面イベントに参加して，モチベーションを維持するのが，数少ない解決策だと思っています． なので，自身はなるべく実力に関係なく，リアルイベントに参加してほしいなと思っており，そういった方が参加するときに話し相手がいないみたいなことにならないように，気軽に話かけてもらえたらと発信するようにしています． これは，自分自身がそういった考えで，かなり損をしていたなと痛感しており，自身は鋼の継続メンタルを持っていましたが，普通は続かず挫折してしまう要因になるので，ぜひ対面イベントに積極的に参加してみてもらえたらと思います（自身は人見知りなので，自分から声をかけるのは苦手ですが，人と話すこと自体は好きなので，ほんとに気軽に声をかけてもらえたらと思います）．

また，自分自身は別に無理にkaggleを続ける必要はないと思っています．人生は有限であり，他にもやりたいことや伸ばしたいスキルはたくさんあると思うので，無理にkaggleを選ぶ必要もないと思っています． ただ，やっぱりkaggleをやりたいという人もいると思いますし，自分自身はkaggleのコミュニティの輪を今後もっと広がったらいいなと思っております． そのために，自身ができることは情報などを共有することだと思っており，今後もチュートリアルノートブックなどは，無理のない範囲で公開していけたらと思っております． また，Kaggle×LLMの書籍を執筆したのは，NLPコンペの挑戦ハードルを下げるためです． この書籍は，様々なNLPコンペのタスクをまとめており，厳選したコンペの上位解法や解法に至る思考の一部が言語化されまとめられているため，たいていのNLPコンペでコンペ期間中にやるべき次の一手がなくなることはほとんどなくなるはずです．

Amazon.co.jp: Kaggleではじめる大規模言語モデル入門 自然言語処理〈実践〉プログラミング (KS情報科学専門書) : 高野 海斗, 齋藤 慎一朗, 石原 祥太郎, 高野 海斗, 齋藤 慎一朗, 石原 祥太郎: 本

今後，書籍という形以外になるかもしれませんが，テーブルデータや画像データに関しても，コミュニティで培ったノウハウを言語化して残していくことができたらと思っております．

kaggleだけでなく，将棋や野球などに関しても，競技というのは，年々研究が積み重なり，参入障壁はより高くなります． 今回のスライドに入れ忘れていましたが，忙しさも年々増加しますが，合わせて参入障壁も年々高くなります． また，年を重ねるほど体力は落ちていきます． なので，もしkaggleで実績を残せる実力を本気で身に着けたいと思っているのであれば，今から始めるのがもっとも合理的です． 競技全般，勝てるようになってくると，楽しさも跳ね上がるので，もしkaggleをやることの一つに決めた人は一緒に頑張りましょう！

自分自身にも，逃げ続けている課題はたくさん存在しており，その中で最大の強敵は語学(英語)です． コンプレックスの塊みたいなもので，自身があらゆることで自信を持てない理由の一つになっています． 継続は重要と話しつつも，こういったものから逃げているようでは説得力がないなとN次会で思ったので，自身もコンプレックスと全力で向き合ってみようと思います．

のぶ大先生(デストロイヤー TOEIC980)に，長期間よりも短期でまず集中してやった方が良いとアドバイスをいただいたので，3分ルールなんて生易しいものではない方法をまずは考えて，実行してみたいと思います． なお，のぶ大先生の英語に対する姿勢は，GM Kagglerのkaggleへの取り組みと同じくらい狂気を感じたので，kagglerとして大成する素質を感じました． まずは，のぶ大先生の1/5の英語力と1/5しぃたけさんの筋肉を目指して頑張りたいと思います．

おわりに

いろいろと立て込んでいる中で，資料のちょっとしたトラブルもありましたが，想定よりも多くの方からポジティブなフィードバックをいただくことができ，今回の発表内容にして良かったなと思いました．

微力ではありますが，引き続きコミュニティを盛り上げていくことができたらと思います．

よくよく考えたら，自腹で数万円を払ってコミュニティのために登壇している人たちが，一定数いることは本当にすごいことだなと思っています．

改めて，企画・運営，スポンサー，登壇者，参加者の皆様，ありがとうございました！

次回開催は，関東kaggler会は1or2月，関西kaggler会は5月22日(金)とのことで，またお会いしましょう！

今後も何卒よろしくお願いいたします．

『Kaggle ではじめる大規模言語モデル入門　〜自然言語処理〈実践〉プログラミング〜』(講談社)

はじめに

この度，講談社から『Kaggle ではじめる大規模言語モデル入門　〜自然言語処理〈実践〉プログラミング〜』の出版を予定しております． Amazonページや講談社の書籍ページはすでに公開されており，年明けの2026年1月中旬に出版される予定です．

書籍の概要

本書は，Kaggleと大規模言語モデル (Large Language Models; LLM) を題材とした書籍です． 従来のKaggle関連書籍は，コンペ参加のための入門書としてテーブルデータや画像データを扱ったコンペをメインに紹介しているものが多く，テキストデータを扱った自然言語処理 (Natural Language Processing; NLP) コンペの紹介は限定的でした． また，出版されたタイミングの関係で，近年のトレンドであるLLMを扱っているKaggle関連書籍はありませんでした．

そのような背景を踏まえて，本書では多様なタスクのNLPコンペを扱っています． 厳選した多様なNLPコンペを扱うことで，あるタスクに対して，様々な選択肢の中からどの技法を選択するのが適切なのかを学ぶことができます． そして，それらのコンペの事例を理解しやすくするために，基礎編は自然言語処理（1 章）とコンペ（2 章）の概要の説明から始まります． 続く章では，日本語のコンペプラットフォームである「atmaCup」で開催されたコンペを題材に，実際に手を動かしながらLLMのチューニング方法を学べる章を準備しております（3 章）． 基礎編の後半では，応用編で頻出するLLM 自体の性能を改善（4 章）と，LLM の軽量化・高速化・省メモリ化（5 章）をまとめております． また，基礎編のいくつかの節末には，Kaggleや実務での活用が具体的にイメージできるようにColumnを設けています．

応用編では，実際にそのコンペで活躍した参加者の方々に，そのコンペで重要だった点や上位解法などの解説をまとめていただきました．

本書を通して，LLMの性能を最大限引き出す方法を身に着けることにより，コンペでの善戦や実務での活用に繋がるはずです！

著者の一人であり，全体の編集を担当いただいた石原さんのブログには、より情報の整理された書籍概要や出版の経緯や思いが掲載されていますので，ぜひご覧いただけますと幸いです．

【書籍メモ】『Kaggle ではじめる大規模言語モデル入門　〜自然言語処理〈実践〉プログラミング〜』(講談社)

書籍の目次

《基礎編》

1. 自然言語処理の基礎

NLPコンペに挑む上で必要となる知識や技術をなるべく網羅的に紹介しています．

2. データサイエンスコンペティションの基礎

次章のチュートリアルや応用編を読む上で必要となる基礎を紹介しています．

  • 2.1 コンペの歴史・意義・役割
  • 2.2 コンペの一般的な枠組み
  • 2.3 コンペにおける機械学習の標準的な作法
  • 2.4 コンペで利用する計算資源

3. 「atmaCup #17」に挑戦

本書の目的の一つは，LLMをタスクに合わせてチューニングできるようになることです．この章では，実際のコンペを題材に，LLMのチューニングに必要なコードなどをまとめて紹介しております．実際に手を動かして，LLMの簡単な学習ができるようになることで，この後の4章や5章による発展的な手法の紹介や応用編の理解がより深まることを期待しております．

  • 3.1 コンペの概要
  • 3.2 探索的データ解析
  • 3.3 単語の頻度情報を用いたモデル
  • 3.5 大規模言語モデル
  • 3.6 アンサンブル
  • 3.7 上位解法の紹介

4. 大規模言語モデルの性能改善

この章では，LLMの性能を引き出すために必要な技術を紹介しております．

  • 4.1 ファインチューニング
  • 4.2 プロンプトエンジニアリング
  • 4.3 検索拡張生成
  • 4.4 モデルマージ

5. 大規模言語モデルの軽量化・高速化・省メモリ化

LLMを実際にコンペで使用するためには，kaggle notebook上で時間内に推論をするという制約があります．それらの制約に対応するために必要な技術を紹介しております．

  • 5.1 低精度化と量子化
  • 5.2 知識蒸留
  • 5.3 Attention の高速化

《応用編》

6.　Jigsaw Unintended Bias in Toxicity Classification

BERTがNLPコンペの上位解法で使われた代表的なテキスト分類コンペを坂見耕輔さんにまとめていただきました．

7.　CommonLit - Evaluate Student Summaries

分類タスクだけでなく回帰タスクも扱いたいと思い，生徒が書いた要約文を自動評価するコンペを中真人さんにまとめていただきました．

8.　Kaggle - LLM Science Exam

近年のLLM活用において必須技術となっている検索拡張生成（Retrieval-Augmented Generation; RAG）が重要だった代表的なコンペを郭林升さんにまとめていただきました．

9.　Bengali.AI Speech Recognition

近年では，画像を入力してテキストを出力させることや，テキストを入力して画像を生成のように，EncoderとDecoderを組み合わせることで様々なタスクに対応することができます．このようなタスクへの取り組みの参考になると思い，音声からテキストを文字起こしするコンペを三好拓志さんにまとめていただきました．

10.　The Learning Agency Lab -PII Data Detection

NLPでは，文や文章の分類だけでなく，フレーズや単語単位での分類(抽出)なども非常に重要であるため，文章中から個人情報を検出するコンペを齋藤慎一朗さんにまとめていただきました．

11.　Eedi - Mining Misconceptions in Mathematics

このコンペは誤答の理由として適切なものを推薦するようなタスクでした．LLM×推薦はホットなトピックの一つであり，検索クエリの拡張，文章の埋め込み，LLMによる候補のReRankingなど，様々なテクニックを学ぶことが可能な良コンペを村上直輝さんにまとめていただきました．

12.　WSDM Cup - Multilingual Chatbot Arena

6章でもテキスト分類を扱いましたが，このコンペもテキスト分類タスクのコンペです．ただし，開催は2024年11月ということもあり，主流解法はLLM一色となっており，近年のLLMのチューニングを学ぶことのできるコンペだと考えて， 洪立航さんにまとめていただきました．

13.　AI Mathematical Olympiad - Progress Prize 2

数学オリンピックの問題を解かせるために，問題を解くためのpythonコードをLLMに書かせたり，複数ある問題で解ける可能性の低い問題は捨て，解ける可能性の高い問題に推論時間を割くなどの様々な工夫が見られたコンペを 吉原浩之さん，井ノ上雄一さん，山口大器さんの3名にまとめていただきました．

書籍執筆の思い

書籍の概要に関しては，共著の石原さんが丁寧にブログで整理していただいているため，自身の方では，書籍執筆の動機と期待していること，そして関係者の皆様への感謝をまとめさせていただきます．

まず，書籍執筆の動機についてですが，端的に言えば，自分自身がKaggleをはじめとしたコンペティションのコミュニティのおかげでスキルを伸ばすことができたので，少しでもコミュニティに恩返しをしたいと思っているからです． いろいろと還元したいと思っていたものの，様々な制約上，これまで勉強会の運営などを行うことができず，何回かコンペの振り返り会やKaggler会でのLTでの登壇や現行コンペでnotebookやdiscussionを投稿する程度に留まっていました． このようなイベントや現行コンペに参加しているのは，データサイエンスや自然言語処理に関わっている方のほんの一部であり，もっと多くの人に情報を届けることができる手段がなにかないかと考えておりました． 自分自身，恥ずかしながらKaggleの存在を知ったのは27歳のときで，当時はなかなか対面でのイベントに参加するきっかけもなく，今思えばもっと早く存在を知って，イベントとかにももっと積極的に参加すればよかったなと思っています． 書籍として情報をまとめることで，偶然書店で手に取ってコンペという学びの場の存在を知ってくれる方が一人でもいたら，それだけでも本書を書いてよかったなと思います．

Kaggleを知らない方の新規参入はもちろんですが，すでにいくつかのコンペで結果を残しているKagglerでも，NLPコンペに参加することにハードルを感じている方も多くいるのが現状です． 自分自身，NLPがもともと専門領域ということもあり，NLPコンペには参加できていますが，一方で画像や強化学習などのコンペでは苦戦してばかりです． ただ，近年のNLPを取り巻く環境の変化は著しく，もともとNLPを専門にしてなかった方も，実務で活用する機会が増えているかと思います． また，NLPコンペに興味があっても，技術の進展が早すぎることやタスクが多様であるため参加できないという声を対面イベントで耳にする機会が多かったことも，書籍執筆の動機の一つとなっています． Kaggleの関連書籍では，NLPに関する言及は非常に限定的である点や，LLMの登場後に書かれた書籍はごくわずかであるため，現在のNLPコンペに参加するハードルは非常に高くなっていると思いました． 多くの企業で，LLMの活用に注目が集まっている中，API経由でプロンプトを少しいじって使用するというところから，応用的な活用にもハードルがあるかと思います． LLMの性能を引き出したり，どのような特徴があるのかを実践的に知る場として，コンペという場は非常に多くの知見を得ることができることが多いです． そのような学びの場に一歩踏み出すのを本書がサポートすることができたら，著者として大変嬉しく思います．

コンペは多くの参加者が集まって，同じタスクを切磋琢磨して解くことに面白さがあり，学びが生まれるため，自身はより競技者が増えていってほしいなと思っています．自身がKaggleというプラットフォームを好んでいるのは，他コンペよりも圧倒的にアクティブな参加者が多く，上位の解法から得られる知見も多いことが理由であり，この好循環がこの先も続いてほしいと思っています．

動機はここまで述べてきた通りで，ずっと思っていたこともあり，Kagglerで集まってご飯を食べに行ったりする中で，NLP関連の勉強会とか開催して還元したい的な話をすることが増えてきた時期に，共著者の齋藤さんが講談社への橋渡しをしてくれました． 自分自身は数回にわたって勉強会をしていく中で，後々書籍でも書けたらと思っていたところを，齋藤さんの行動力のおかげで，書籍を執筆する機会を得ることができました． 構想はあったものの，想定よりも早い段階で話が舞い込んできたため，様々な不安がありました． また，技術進展の早さを考慮すると執筆開始からある程度の期間で完成させる必要性があるため，どうするのがベストかを考えました． もともと，過去のNLPコンペを上位チームの方を招いて振り返る勉強会を通じて，知見を蓄積して書籍を書こうと思っていたので，応用編としてコンペでの事例を上位チームの方に依頼することはすぐに確定しました．

そして，共著としてこれまでもKaggle関連の書籍執筆に携わり，KagglerとしてもNLP人材としてもコンペ関連の取り組みも行っている石原さんに協力をお願いし，快く引き受けてくれました． お仕事はもちろん，学会の委員やプライベートでも忙しい中にも関わらず，石原さんには助けてもらうことが本当に多く，予定通りのスケジュールで執筆を進めることができました． 本来であれば発起人の自身がもっと動くべきところを，石原さんが率先して必要な連絡や全体の編集に時間を割いていただいたおかげで，自分自身が注力すべきことに多くの時間を割くことができ，大変感謝しております． 今回は初のメイン著者としての書籍執筆かつ関係者も多い特殊なケースでしたが，次回以降，自身も書籍執筆の経験者となるため，今回の石原さんから学んだことを率先してやっていけたらと思っています．

また，スケジュール通りに出版ができたのは，応用編の寄稿者の皆様のおかげでもあります． メイン著者らだけでは，あくまで復習ベースで学んだ内容を書くことしかできないところを，実際にそのコンペで上位に入賞した皆様に執筆いただいたことで，なぜ，その手法を選択するべきだったのかという過程などを詰め込むことができました． コンペに関しても，タスクや開催時期などを吟味して選択しており，断られてしまうと理想とするラインナップにすることができない状況でしたが，当初予定していた著作権の関係で掲載できるコンペをすべて扱うことができたのは，寄稿者の皆様がご快諾いただけた結果であり，大変感謝しております．

レビューにご協力いただいた秋葉さん，小嵜さん，村田さん，林さんにも大変感謝しております． レビューによって，足りていなかった視点や説明不足で分かりづらい部分を改善することができ，書籍をより良いものに仕上げることができました．

講談社の横山様には大変お世話になりました． メイン著者の内，石原さんと齋藤さんは書籍執筆経験者であり，あまり心配はされていなかったかもしれませんが，自身の疑問に対して丁寧に説明いただいたり，自身の仕事の都合による休日でのミーティングなど，大変助かりました．

最後となりますが，これまで同じコンペで切磋琢磨してきたコンペ参加者や振り返り会などのイベントで関わった皆様にも感謝しております． コンペ開催期間中のdiscussionや終了後の解法共有，対面イベントでの過去コンペの情報交換などが，現在の自身のスキルの根底にあり，そのおかげで書籍の執筆もできたと思っています．

この場を借りて深く感謝を申し上げます．

本書を通して，Kaggleに出会う方，LLMのチューニングができるようになる方，NLPコンペで好成績を残す方，実務で活躍する方が少しでも増えたら，著者として大変嬉しく思います． ぜひ書店やオンラインショップで手にとっていただけますと幸いです．

おわりに

年明け 2026 年 1 月中旬に出版予定の『Kaggle ではじめる大規模言語モデル入門　〜自然言語処理〈実践〉プログラミング〜』(講談社) の紹介と執筆への思いをまとめさせていただきました． より良いものをお届けすることができるよう，引き続き頑張ります．