第4回 統計・機械学習若手シンポジウム「Academic Writing for Top Conferences」聴講録

概要

2019/11/15(金)・16(土) に名古屋(名工大)で開催された、第 4 回統計・機械学習若手シンポジウムに参加してきました。

  • URL: https://sites.google.com/view/statsml-symposium19/

その中でも「Academic Writing for Top Conferences」というセッションは個人的に有用そうだと思ったので共有します。 後半の「第2部：パネルディスカッション・質疑応答」については、Q&A 集が公開されています (URL)。

第1部：講演

鈴木潤先生（東北大学）：国際会議への論文の通し方（一般論）

  • おおよそ以下の発表の縮小版
    • https://www.slideshare.net/JunSuzuki21/2019-0826-yansinvitedtalk/1
    • 以下は強調してそうだったところ（主観）を列挙。

(採択論文数自体は増えているという話に対して) 採択率 2 割は、25 人中 5 位には有名人しか入りづらいが、250 人中 50 位なら有名人じゃなくてもいけるかも、と考えている。

若者が得意な領域は NLP だとサーベイ力+プログラミングだが、ML 系だとサーベイ力+数学力？ アイデアや執筆は経験が必要だし、強い人と一緒にやろう。

サーベイは読むだけじゃダメ。 この研究を先に進めるにはどうするか、自分の研究で使うにはどうするかを常に考える。 疑問と解決策を常に妄想する。自分は常に妄想している。 分野の研究者が困ってそうなこと、自分が困っていることからでもよい。

Intro 重要。林先生もうなずいていた。

英語が不安なら最初（初稿の前という意味）は他の論文からの切り貼りでいい、というくらいの気持ちで OK。 適当に日本語注釈をつけておいて、あとでちゃんと修正する。 そのまま投稿すると剽窃でもちろんダメなので、ちゃんと修正はするが、最初はそれでよい。

林浩平先生（PFN）：国際会議への論文の通し方（機械学習の会議向け）

鈴木先生の資料がいいので、今回は研究を論文として伝える方法についての話をする。

Q. なぜ論文が通らなかったか？ => A. 内容の問題 or 伝え方の問題。 内容の問題は複合的で体系化しづらいので今回は後者にフォーカス

  • 論文のレベル
    • 0: アルファベットで書かれている
    • 1: 文法的に正しい
    • 2: 早く・正確に理解できる <- このレベルになることがトップ会議では重要
    • 3: 読んでいてワクワクする

なぜ論文が通っていないか。 英語が不得意なことと、徒弟的な訓練が行われていないこと。

どうすればいいか？基礎と実践が必要。

基礎=アカデミックライティングの本をちゃんと読む。 おすすめ: Adrian Wallwork: English for Writing Research Papers 2nd ed.(English for Academic Research), Springer, 2016。 理研 AIP の前原先生もおすすめしていた。 日本語訳が出る予定 (https://www.amazon.co.jp/dp/4065120446/)。

実践=論文を書いて、密なフィードバックを得る。よいメンターを見つけることが重要。 ここでのよいメンターの定義は、トップ会議に 3 本以上通した経験があって、原稿を直接直してくれる。 林先生の場合は、大学ではやったことがなくて、NEC のインターン（藤巻さんがメンター）で初めて知った。 ある論文では、Ver 1 では Intro のほぼすべての文が修正された。Ver 2 でも Intro もほぼ同様。Ver 8 までこのときは修正した。

山田誠先生（京都大学/理研AIP）：運営側からみた機械学習会議のしくみ

（最初の方はメモをとってなかった）

トップ会議に論文を通すことは重要。 その例として、トップ会議のベストペーパー以外評価されない=昇進で考慮されない、というすごい世界もある(at 米 Yahoo Research)。

信号処理業界から ML に移動してきたけど、査読のレベルがヤバい。

学会運営におけるいろいろな仕事: Program Chairs, Workflow chair (PC のお手伝い), Local Chair, publicity chair (広報), proceeding chairs。 Workflow chair はやったことがある。

  • スコア別の対応
    • すべて negative -> NG
    • すべて accept -> OK
    • すべてが weak accept -> 1 つの strong accept よりも微妙？
    • スコアが割れたとき -> エリアチェアしだい。そこへの働きかけが重要？

rebuttle をちゃんとやることとは重要。エリアチェアが救ってくれることもある。

諦めないこと、ガチャを回し続けることが大事。

  • 例 1: IJCAI, CIKM, ECML でダメ -> 応用よりに変更 -> KDD 2017 採択
  • 例 2: ICML, NIPS, Neural Computation (ジャーナル) に投げていたがダメ -> NIPS にまた投げたら採択

チャンスレート以上（採択率が 25 % なら 4 本以上！）を投げることも大事。まあこれは中堅向けかも？

査読者の質問はすべて回答。査読者の質問はコピペしてから答える(トップ会議に通しまくっている元同僚のコメント)。 高いスコアを付けてくれる査読者に低いスコアをつけている人と戦ってもらう。 議論を起こしそうな査読コメントを書くとか。

身近に通している人がいる場合はその人と一緒に研究する。 チャンスを掴むための勢いとかが重要で待っていても来ない。山田先生の場合、酔った勢いで杉山先生にメールを投げていなければ今ここにはいなかった。 企業の研究インターンに行こう（ただし卵が先か鶏が先かという問題はある）。

身近にいないときはどうするか。 とりあえず一度投稿してみる（ただし通るだろうというレベルのもの）。 「落ちたら査読者がダメと言ってきたことを修正 -> 直して再投稿」を通るまでやる。面白くないとか言われたらジャーナルに投げる。

第2部：パネルディスカッション・質疑応答（30分）

  • S: 鈴木先生、Y: 山田先生、H: 林先生

  • Q. レビューが割れたときどうすればいい？

    • S: 感情論じゃなくて、理詰めでいくべき
    • Y: meta-review で discussion が起こりそうなことを書く
    • H: meta-review へのコメントはどれくらい書くべき？
      • Y,S: 書いておいて損はない
      • (7,7,5) だと「全体的に結構いいよね、レビューありがとう」みたいなことを書いて、追加でコメントを書く

  • Q. サーベイってどれくらいやる？

    • S: トップ会議のタイトルでサーチして列挙。とりあえず「ある」ことを確認。概要を確認して、潰していくことが大事。
    • H: 分野を変えるときは一回目の投稿は落ちる覚悟をしておくくらいの勢い。レビューで指摘されたら修正する。
    • Y: あんまり最初はやらない。Google Scholar でググって最初の方に出てこなければとりあえずやってみる（やってみると結構差分はでるもの）。最後にちゃんとやって、差分を確認する。これは Deep Learning が主戦場じゃないからかも。
    • H: やりすぎないほうがよい。既存のアイデアや枠組みに引っ張られるかも。
    • Y: 最初はあんまりやらないかも
    • S: ちょっとは調べる必要がある。学生とかだと終わりまでの時間が有限。後戻りが少ないほうが嬉しいので。
    • Y: 既存の問題を解く系だと必要だけど、問題を作る系だとあんまりないかも。

  • Q. サーベイの方法ってどうするの？

    • S: ななめ読みの方法を確立する。(鈴木先生の場合だと)どういうデータでどういう実験をやっているか、どういう問題設定か、みたいな要点の把握が重要。
    • H: 量が増えているのでスケールする方法を考える。組織に入る、コミュニティーを作る。
    • Y: Google Scholar で有名論文を引用している論文を探す。そこからたどっていく。

  • Q. 企業とアカデミアのちがいってある？

    • Y: 企業だとテーマがあって、そこに基づいてやる。ある程度テーマがあってやりやすい面もある。大学は自分の好き勝手に割とやっている。
    • H: 大学の際と変わらず、テーマは割と自由にやっている。ただアカデミアだと先生がいるが、企業だと対等なチーム。
    • S: 正直あまり変わらない。自由にやっている。

  • 完成度の低い論文を（本会議に）投稿することについて

    • H, S, Y: ダメ(満場一致)
      • 投稿する側からだとコメントが欲しいのかもしれないが、3 人のレビュアーがいると 3 人ともから「ヤバいのでダメ」みたいなコメントが返ってきて終わる可能性もある
      • あとはその微妙な論文を査読した査読者が、査読した当時は誰が書いたかわからなくても、あとから通って著者が判明した際に、その論文の著者に悪印象を持つ可能性だってある
      • 会議運営の面から見てもキャパ的に厳しくなってきているしダメ
      • Workshop にして色々コメントをもらうほうがずっと建設的

  • 特別に数学の勉強って学生のときにやった？

    • H: やってた。修士のときは線形代数とか集合論とか。輪読が好きで、統計の漸近論の本とかも。
    • Y: 元は信号処理でフーリエ変換とか線形代数とか、統計はやっていた。ML の勉強はポスドクで初めてで、今でも苦労している面はある。
    • S: 応用よりの話なので少し違うかも。アイデアとか執筆は経験がものが聞くので、若いときに基礎を勉強しておいたほうがよい。

  • 違う分野に投稿したいときってどうすればよい？

    • Y: 文化があるので、人を頼るべき。セクションごとに人に書いてもらうとか。バイオ系に投稿した際は、分析の部分とかは全然わからないので、専門の共著者にやってもらった。
感想 「いい研究をする」という気持ちは当然で、その上でどうやってトップ会議採択されるか、そのためにどうするか、どう書くか、という話でした。 テーマを選ぶ際はちゃんとサーベイをして、出てきた論文から常に何ができそうかを考える。論文を書く際はできる人と一緒にやってフィードバックを得ることで向上させていく。それを継続することが大事だと理解しました。