- TRECVIDについて -
- 2001年
- 2002年
- 2003年
- 2004年
- 課題
- ショット境界検出（Shot Boundary Detection:SBD）
- 各ショット間の切り替え点の自動検出
- 「瞬時カット」と「特殊カット」の２種がある
- 瞬時カット：ショットが瞬間的に切り替わるカット点
- 特殊カット：複数フレームにまたがってショットが切り替わるカット点
- ディゾルブ型のカット点とワイプなどの映像効果をともなうカット点
- 評価基準：再現率、適合率、処理時間（カット点検出に要した総処理時間、MPEGデコード処理時間、実験で利用した計算機のCPUの情報）、Frame-recallとFrame-precision（特殊カットに対してのみ）、
- 話題分割（Story Segmentation）
- 映像データを意味的な単位である「話題」に分割すること
- 下記三つの実験条件ごとの結果を提出する必要がある。
- 1.Audio + Video : audio-video特徴量のみに基づく話題分割
- 2.1に加え、音声認識結果から得られるテキスト情報を利用した話題分割
- 3.ASR Only： 音声認識結果から得られるテキスト情報のみを利用した話題分割
- 正解時間の前後10秒ならば正解を見なす。
- 高次元特徴抽出
- 指定された事象（feature）が出現する箇所を、分析対象映像データから検出
- 共通カット点情報に基づいて行う
- 順位付けする
- 評価基準：検索結果最大1000件ショットの再現率、適合率、平均適合率を使う
- 検索
- 与えられたクエリを満たすショットを効率的に検索するシステムの開発
- 検索精度と共に検索システムのインタフェースも評価対象になっている
- 検索課題「Topic」は特徴抽出のものよりも複雑
- Topic自体がテキスト文に加え、正解ショットの例（動画と静止画）が提供されている
- クエリ例：「Find shots of a street scene with multiple pedestrians in motion and multiple vehicles in motion somewhere in the shot」
- 3つの実験条件が設定されている：Manual, Interactive, Full automatic
- Manual : 与えられた検索課題（Topic）を基にシステム利用者が検索システムに入力するクエリを作成し、得られた検索結果の評価を行う
- Interactive：Manualのようにして得た検索結果をシステム利用者が見てもう一回クエリを修正して検索できる。
- Full automatic：与えられた課題をそのままシステムに入力する
- 評価基準：再現率、適合率、平均適合率
- ショット境界検出（Shot Boundary Detection:SBD）
- データ
- 2003年のニュースデータに、以下のデータを加えたもの
- 1998年10月~12月に放送された、「ABC World News Tonight」および「CNN Headline News」の2ニュース番組
- 128本、64時間分
- 2003年のニュースデータに、以下のデータを加えたもの
- 課題
- 2005年
- 48組織が参加？
- 課題(2004年の課題＋下記の課題)
- 低次元特徴抽出
- ショット内のカメラモ―ションの検出。下記のカメラモーションが出現するショットを行う
- 検出するカメラも―ション：「パン」「チルト」「ズーム」
- 共通カット点情報に基づいて行う
- 評価基準：適合率、再現率
- ショット内のカメラモ―ションの検出。下記のカメラモーションが出現するショットを行う
- 高次元特徴抽出の2004年からの変更点
- 事前に行われたアノテーション付け作業に基づいて行う。
- 39種のアノテーションが付けられているので、2005 年のTRECVIDではその内の10件がタスクの課題として設定された
- BBC Rushes（2005年の非公式タスク）
- BBC Rushes:英国の放送局のBBCが番組製作時に撮影した映像の素材を集めたもの
- ナレーションや字幕スーパー等の効果がほとんど施されていない
- 音声認識処理を実行しても有益なテキスト情報を得ることは難しいと想像される
- 映像データから得られる視覚的、聴覚的特徴量のみに基づく映像情報検索研究への取り組みを促進させるデータとなりうるので、試験的なタスクとして開催された
- 特に明確な課題・評価基準等は設定せずに、BBC Rushesデータを利用した実験やその結果などについての報告が行われた
- BBC Rushes:英国の放送局のBBCが番組製作時に撮影した映像の素材を集めたもの
- 低次元特徴抽出
- データ
- 2004年11月に放送された、英語・中国語・アラビア語のニュース番組の映像
- 合計約170時間分
- BBC Rushes
- 約50時間
- 2004年11月に放送された、英語・中国語・アラビア語のニュース番組の映像
- 2006年
- 54チームが参加
- 課題
- ショット境界検出
- 高次元特徴抽出
- 指定された事象が出現する箇所を、テスト画像データから抽出
- 14万枚以上のテスト画像に対して、39種類の課題すべてについて認識を行う必要がある
- 課題：スポーツ、エンターティメント、天気、Court,Office,Meeting, Studio, Outdoor, Building, Desert, Vegetation, Mountain, Road, Sky, Snow, Urban, Waterscape_Waterfront, Crowd, Face, Person, Government-Leader, Corporate-Leader, Police_Security, Military, Prisoner, Animal, Computer_TV-screen, Flag-US, Air-plane, Car, Bus, Truck, Boat_Shit, Walking_Running, People-Marching, Explosion_Fire, Natural-Disaster, Maps, Charts
- 検索
- 与えられたクエリを満たすショットを効率的に検索するシステムを開発するタスク
- ラッシュ映像exploitation
- 未編集映像（ラッシュ映像）を検索、要約、編集するための支援ツールを開発するタスク
- 検索
- データ
- ニュース番組の映像（アメリカのCNN,NBCの他、中国語およびアラビア語のニュース番組を中心としている）
- 形式はMPEG-1
- 「学習データ」：2004年秋のニュース映像、137本、約80時間
- 「テストデータ」：2005年秋のニュース映像、259本、約160時間
- 映像はショットに分割され、各ショットの代表的な画像をTRECVIDが提供している。
- 一本の映像から500枚程度の画像が選出され、学習画像とテスト画像合わせて、17万枚以上の画像となっている
- 音声認識の結果のテキストも与えられる（中国語等は英語に翻訳されている）
- 課題
- 2007年
- 54チームが参加
- 課題
- ショット境界検出
- 高次元特徴抽出
- 検索
- ラッシュ映像要約
- ラッシュ映像：未編集の映像。（e.g. 俳優のNGシーンなど繰り返しのシーン、カメラが固定されていて長い間動きがないシーンを含んでいる映像）
- 与えられたラッシュ映像（MPEG-1)を決められた時間以内（2007年では4%以下）に要約する
- 評価方法
- テキスト形式のGround truthの一致率
- リッカート尺度による、要約としての見やすさや無駄の少なさ
- システムの実行にかかった時間
- 審査官が審査にかかった時間
- 要約の長さ
- データ
- ニュース、科学ニュース、ドキュメンタリー、教育番組等（全てオランダ語）
- 106時間、提供元はオランダ視聴覚研究所
- ニュースだけでは、音声認識結果で対応出来てしまう問題があった
- BBC Rushes
- 約50時間
- ニュース、科学ニュース、ドキュメンタリー、教育番組等（全てオランダ語）
- 2008年
- 2009年
- 2010年
- 2011年
2005年までのデータでは以下のようになっている（2005年以降は知らない） ※ 映像データは、放送日に従って、前のものと後のものに２分別され、古い方を学習データ、新しい方を評価データとされている。 ※ 映像データは以下の情報が提供されている。- 共通カット点情報：全ての映像ファイルに対し、カット点検出処理を行った結果が提供されている。カット点検出結果によって分割された個々の「ショット」が、「特徴抽出」と「検索」の各タスクの評価の単位として利用されている。また、各ショットにはｷｰﾌﾚｰﾑ（各ショットを表す代表的なフレームの静止画像）も付加されている
- 音声認識結果：英語以外の言語は英語に自動翻訳した結果も提供されている
- 2003年、2005年の映像データには参加者が有志でつけたアノテーションが付加されている。2003年は自由にアノテーション付けしたため133種類のアノテーションが、2005年では作業の負担を軽くするためLSCOMワークショップで議論されている、ニュース番組解析のために有効な特徴量（"Concept"）39件をアノテーションとして付与している
- カット点＝ショット境界
- 2月ごろに参加表明、4月ごろに映像素材が提供される
Copyright (C) Mariko Kamie's Home Page !. All Rights Reserved.