数据处理. 1

值班人员白班的数据处理. 1

数据存放. 2

数据移存. 2

除平场batpip 2

postpip 2

数据刻盘. 3

数据处理方法及相关程序介绍. 3

Pipeline I 4

Pipeline II 5

A.  PipelineII概貌. 5

B.  合并图象. 6

C.  pip2流程. 10

D.  自动选取PSF星程序j_auto的详细说明: 10

E.  pip2参数文件. 11

F.  单个程序说明. 13

G. pip2 13

PIPELINE III 13

 

数据处理

 

值班人员白班的数据处理

 

数据存放

 

目前所有pipeline处理、小行星和超新星的处理及所有数据的备份和刻盘均在newbat机上进行。

newbat机盘区分配情况如下:

巡天原始数据存放目录:   /raw1/data/rawJD

            备份目录:   /raw2/data/rawJD

 

巡天pipeline数据存放目录:/pip2/data/pipJD

超新星天区原始数据存放目录:/minor/data/raw/rawJD.m

pipeline数据存放目录:/minor/data/pip/pipJD.m

北极天区原始数据存放目录:/polar/data/raw

pipeline数据存放目录:/polar/data/pip

原始平场存放目录:      /pip1/precd/FZxxx/raw

 

合并后平场存放目录:    /pip1/precd/FZxxx/combine

 

数据移存

smt机上的原始数据传到newbat机上的/pip1/data/pipJD目录下。

具体步骤:

smt机上   ftp newbat

             密码

             cd /pip1/data/pipJD

             prom(保持在off状态下)

             bi

             mput d*.fit

然后根据数据种类在相应盘区下建目录,建目录要求格式符合,

如:raw1/data下目录为rawjd,minor/data/raw下为rawjd.m。

然后将原始数据分别拷贝到相应盘区目录下。

 

除平场batpip

newbat机上pip1/data/pipJD目录下执行:ls d*.fit |wc检查数据文件数量,

ls ltr | more检查数据文件大小,

无误后,执行batpip程序:合并所有原始平场后去除原始数据,得到pipeline后数据,原始数据被覆盖。

postpip

如数据中包含巡天数据,先将pipeline后超新星、小行星、北极天区及合并后的平场数据拷贝到相应的盘区下,再将巡天天区的pipeline后数据用postpip程序移盘并生成.doc文档。

数据刻盘

newbat机上各数据存放盘区的precd目录下按照光盘的编号顺序依次建立相应的目录。

具体步骤:

du  查看各类数据累积情况,大于650M时应考虑分开目录并刻盘

precd  在相应的precd目录下生成所要刻的光盘号,如: R0xxx

mkcd R0xxx /raw2  准备刻盘的大文件,在/raw2/cdimage下生成文件CD.R0xxx,哪个盘区空 间大用哪个盘存放

llcdimage  查看mkcd生成的以CD.R0xxx为后缀的大文件

mv CD.R0xxx  R0xxx.iso  改名字为刻盘映射文件

 

将映射文件传到sun2机上,用cdr8刻盘命令刻盘。

具体步骤:

sun2机上linux超级用户环境下 进入data目录

newbat

密码

cd /raw2/cdimage  进入存放盘区的相应目录  

get *.iso(将文件从newbat机传至sun2当前目录)。

Cdr8 *.iso   八倍速刻录。

Cdr4 *.iso   四倍速刻录。

Cdrtest *.iso测试数据光盘。

Cdrom=cd /mnt/cdrom

Data=cd /root/data

Iso=cd /root/iso

Mcdr mount光驱。

Umcdr umount光驱。

Miso /root/data/*.iso /root/iso mount映象iso文件。

Umiso /root/data/*.iso /root/iso umount映象iso文件。

 

建议:经常查看各盘区情况,及时刻盘。

刻盘之后,一定要检查文件的内容,确认刻盘无误后,及时将目录下的大文件和原来precd目录下的相应目录删除。

刻盘同时,填写刻盘记录(原磁带记录本中部)。

同时填写“施密特望远镜观测数据写盘情况一览表”,已便于自己记忆。

 

注意:

/pip2/precd/Pnnnn的数据均要同时刻两张一样的光盘(其中一张在纸上编号为  Znnnn,刻好后尽早带给蒋兆基老师)。

 

 

数据处理方法及相关程序介绍

 

经过多年长期的研究和实验,我们已经逐步建立了一套BATC专用的计算机数据处理流  程。这个流程包括三个部分:

Pipeline  I: 用于自动整理观测原始数据,然后做了如下处理: 平场改正;位置定标;FITS头文件中加入天文参数。

Pipeline II:用于图像中对点源的自动测光。 有关方法是利用DAOPHOT程序, 加上一套适合我们观测仪器的参数。 它可以定出单幅CCD图像上的天体的位置及仪器星等。在做Pipeline II之前, 往往先将同颜色同天区的图像进行合并。

Pipeline III:用于产生BATC某一观测天区的总星表。它利用BATC的多个颜色图像  来识别该天区中的天体,然后输出所有天体的坐标及各个颜色的星等(SED)。 

当前计算机处理平台是基于PC机, RedHat Linux操作系统。计算机图像处理系统使用的是PGPLOT程序库。我们不准备详细介绍PGPLOT和GSC星表, 因此在此说明他们的来源:GSC星表就是我们常用的Guide Star Catalogue。PGPLOT由T.J.Pearson, California Tnstitute of Technology等人开发, 是天文界广泛使用的免费软件包, 使用者可在自己编写的程序中方便地调用其子程序。BATC使用的PGPLOT, 经过扩充, 已经加上汉字、 图像灰度、 HP打印机、GIF格式驱动等等。 适用于RedHat Linux操作系统的各个版本。

Pipeline I

该批作业程序综合了大家对BATC数据处理的意见,由一个名为PIP的由C语言写成的程序去解释完成任务, 其间调用各个独立程序。利用原始暗场、平场数据, 经Pipeline I生成对应于各个原始图像, 经暗场、平场改正的, 并且经过位置定标的, 供光盘保存及发布,可直接使用的FITS文件。

Pipeline I调用如下程序:

flaten    平场改正;

mean_val  统计2048*2048图像的平均值;

coord     对BATC图作位置定标, 加上各种天文量;

overscan  overscan改正;

statsky   统计BATC图像天光, 写入fits头;

superbias统计多幅bias图像, 生成一幅bias图像;

superdark统计多幅dark图像, 生成一幅dark图像;

superflat统计多幅flat图像, 生成一幅flat图像;

 

 

FITS头, 增加的信息是: (按排列为序)

天光背景值

Seeing

坐标转换的8个系数: 利用GSC星表, 一般位置精度定在0.5角秒以内, 选星数目大于100实际意义是XY平面到赤经赤纬, 坐标转换矩阵, (还应加上球面到平面的投影处理)。

a81 a84两坐标系统, 坐标轴比例;

a82 a83两坐标系统坐标轴夹角, 是小量;

a85 a86两坐标系统原点偏移;

a87 a88历元为2000年的CCD中心的赤经、赤纬值;

CCD中心位置的银经、银纬、黄经、黄纬值;

星际红化消光系数;

大气质量;

CCD中心位置的地平坐标;

月相、月亮的地平坐标,与CCD连线在XY平面上的方向角。

 

Pipeline II

A.  PipelineII概貌

 

当今世界上, 处理点源测光,基本上都采用加拿大Peter B. Stetson的DAOPHOT程序, 版本不少, 我们从其UNIX版本出发,进行改造。改造的原因是, 该版本自成体系: 有自己的环境,对话交互式, 不能进行批处理。IRAF里的DAOPHOT而且还依赖于其STSDAS库。除了一些STSDAS库中的输入输出子程序外,DAOPHOT提供了全部FORTRAN源程序。我们分割其各程序, 取出所需要的部分, 根据程序上下文的要求, 编写缺的那部分,(STSDAD库没提供源程序)。然后,脱离DAOPHOT的工作环境, 添加自动选PSF星的程序, 编制适合于处理BATC图象的流程, 修改DAOPHOT部分源程序的处理方法, 这就构成了PipelineII。PipelineII能处理合并的或没合并的BATC 2048*2048象元的FITS图象, 每幅图上至多测星50,000颗.  (一般在5,000颗左右) PipelineII的执行程序名为pip2。其中包括许多独立的任务。 他们可在不依赖任何软件环境下,独立运行:

1.      j_find  CCD图像上找出点源位置, 生成 .coo文件;

2.      j_phot   .coo文件出发, 点源测光, 生成 .ap文件;

3.      j_auto   .ap文件出发, 自动选取PSF星候选者, 生成 .lst文件;

3.1 dismk   辅助程序, 查看PSF星候选者 CCD图上的分布;

3.2 dispsf3辅助程序, 查看每一个PSF星候选者的详细星图及轮廓曲线;

4. j_psf   从 .lst文件出发, 构造PSF表,(点扩散函数), 生成 .psf文件;

5.      j_star   .psf .ap文件出发,(原型为allstar), 给出最终结果, 生成.als

6.      j_substar  CCD图上减星, pip2流程中要用到。

 

上述程序运行十分简单, 键入程序名, 得一个简单的帮助信息, 在大多数情况下,程序名加上被处理的图像名, 就能执行。pip2就是使用不同的选项和文件, 反复调用上述6个程序, 达到最终目的。pip2运行时要用到一个名为pip2.par的参数文件。

实际运行方法如下:

pip2图像名

pip2运行完毕, 产生两个文件:

1.      *.als测光星等位置文件, 格式与DAOPHOT的输出结果一致.每行是一颗星的内容, 它们是: 序号, 列位置, 行位置, 星等, 星等误差,天光,迭代次数, CHI, SHARPNESS(有关CHI,SHARPNESS的说明,请查阅DAOPHOT资料)

2.      *.mes信息文件, 包含了pip2.par参数和图像FITS文件头上的部分重要参数.文件很小, 易于保存. 为后续资料处理, 提供方便。

 

: j_xy4ad, 利用上述两个文件, 很容易将点源位置转成赤径赤纬值。

B.  合并图象

 

在运行pip2之前, 往往少不了合并图象这一步. 这是由于我们观测流程所致。根据经验, 每幅图曝光20分钟, 连续拍摄3次. 之间移动一点位置。好处是: 每幅图上的星象不宜饱和, 利于望远镜跟踪, 对于剔除坏象元,宇宙线提供了条件. 坏处是: 增加了CCD读出噪声。同一天区,同一颜色的图像可以在一起合并, 与拍摄日期无关。至少3幅图, 至多可以45幅图在一起合并, 当前目录要留有相应大小的硬盘空间。每生成一个合并图象, 其FITS文件头上的项目关键词NAXIS,NAXIS1,NAXIS2的同一行上的第66列位置起, 分别加上: 被合并图象的幅数和没饱和点的ADU值; 合并图象的公共区域的列方向上的两个值; 行方向上的两个值;  这6个值在pip2运行时要用到。有关没饱和点的ADU值的说明如下:

pip2中, 若遇到饱和的星象, 是不进行测光的, 但必须告诉pip2一个值, 在pip2.par中称之为HIGH GOOD DATUM, 即上面所说到的没饱和点的ADU值。 在cob50中是如下解决的:

若当前目录内存在一个名为cob.par文件, 那么每幅CCD图的饱和点(>29000)的替换值取自该文件, 若当前目录内不存在cob.par文件, 那么替换值设定为500,000写在FITS文件头上的没饱和点的值, 定义为: 替换值-1000. 有关pip2中的HIGH GOOD DATUM的取值, 下面还会提到。在/vega2/rhbin中, 合并图象命令程序有多个, 例cob50sh,cob51,cobad...

sh代表非整象元移动, 如果程序名上不出现, 代表整象元移动;

50遇到大于29000 ADU值的饱和点, 500000取代. 彻底剔除;

51遇到大于29000 ADU值的饱和点, 处理程序视为坏点处理, 合并时并不一定剔除;

ad光考虑图像的位置因数, 直接相加;

cob50n合并薄片CCD图像, 不进行坏象元处理. (薄片CCD几乎无坏象元)。我们常用的程序是, cob50, 整象元移动合并.

 

合并原理:

1.      对准位置, 位置8参数能解决问题. 各幅图以第一幅图为基准, 相对平移.

2.      找出一批不饱和亮星, 扣除天光背景后,计算每幅图的星光流量, 得到每幅图对应第一幅图的流量比, 这是往下处理时, 所用到的权重. 数据规一化.

3.      CCD坏点用其它图像的中值取代, (坏点表:/vega2/rhbin/badpixel.bin)

4.      剔除宇宙线.

5.      根据权重还原每幅图像流量后,相加.

 

合并流程:

如果合并同一天的3幅图, 那么相当简单.

1.      smooth每幅图. (如果是厚片CCD图像, 左上方缺个角)

我们有少量薄片CCD图像, 不需要平滑.

2.      ls *.fit >1.1

3.      cob50 1.1 output.fit

 

 

 

由于坏点表不全, 合并后的图像仍有坏道隐现. smooth程序根据实际图像,进行坏道平滑(相邻点相加除以2) 可以用tv_coord观看处理前后的图像效果。如果合并深曝光天区图象, 那么很繁琐, 需要人工干预。运行batc数据库, 拷贝所需的文件到各个颜色目录。下面以T518天区, o颜色为例。

1.      运行dirccd1  显示:

 

Filename     Obs_date_time (UT)  Exp.  Size

1: p0089765T518o010 16/02/95 17:00:51 1800  2048  -0.2301345

2: p0089765T518o011 16/02/95 17:33:08 1800  2048  -0.2297081

3: p0330085T518o003  2/01/96 19:37:33 1200  2048  -0.2272744

4: p0330085T518o004  2/01/96 20:02:24 1200  2048  -0.2271882

5: p0330106T518o062 23/01/96 16:39:11  300  2048  -0.2272146

6: p0330106T518o075 23/01/96 17:47:36  300  2048  -0.2258906

7: p1731925T518o021 15/01/01 16:23:56 1200  2048  -0.1912642

8: p1731925T518o022 15/01/01 16:47:14 1200  2048  -0.1909898

9: p1731925T518o023 15/01/01 17:09:49 1200  2048  -0.1907858

10: p1731925T518o024 15/01/01 17:32:33 1200  2048  -0.1906384

11: p1731925T518o025 15/01/01 17:54:59 1200  2048  -0.1902088

12: p1731925T518o026 15/01/01 18:17:25 1200  2048  -0.1899246

 

5,第6幅图像是观测标准星时的浅曝光(从Exp.可看出), 如果图象的背景值不高,它们可以用来修补深曝光图象中的饱和星。否则, 就最好删除它,因为贡献不大, 反而增加读出噪声。最后一栏很重要, 是CCD图像a82参数值, CCD芯片放置相对于子午线的夹角。明显分为两组,1-6, 7-12. 是由于打开杜瓦, 重新放置CCD芯片不一致造成的。合并图像程序不考虑旋转, 须在合并前解决. 不然, 合并后图表角上的星像是椭圆型的。一般相差0.005以下, 不作旋转, 旋转操作是非整象元操作, 会引入误差。

 

2.      检查图象上的星象(seeing

 

ls *.fit >1.1

ch_see 1.1

 

 

1:  p0089765T518o010.fit  4.62 bad

2:  p0089765T518o011.fit  4.49 bad

3:  p0330085T518o003.fit  5.01

4:  p0330085T518o004.fit  5.23

5:  p0330106T518o062.fit  4.85 exp

6:  p0330106T518o075.fit  4.66 exp

7:  p1731925T518o021.fit  3.90

8:  p1731925T518o022.fit  3.75

9:  p1731925T518o023.fit  3.60

10:  p1731925T518o024.fit  3.72

11:  p1731925T518o025.fit  3.96

12:  p1731925T518o026.fit  3.91

 

对于seeing太大的图像, 我们只能放弃, 不然会直接影响合并图像的质量(最后栏为加注)。 有部分早期观测的图像, FITS头中无seeing一项, 因此会显示19.99。 我们可以用statsky来确定图象的背景天光值及seeing,还需要重新运行coord文件 !

3.      tv_coord目视检查每幅图像, 质量不好, 就删除.

4.      smooth平滑厚片图像.

5.      turnold旋转图象。前面例子中的图象,按其相互转角可分2组。我们以第2组为基准。从第2组选一个位置数值靠中间图象的为基准, 然后旋转第1组的图象与第二组符合。

 

turnold  p1731925T518o022.fit p0330085T518o003.fit 03.fit

turnold  p1731925T518o022.fit p0330085T518o004.fit 04.fit

 

6.      如果所选文件中存在使用簿片CCD拍的图像, 则需做上下镜象颠倒(updown)的操作, 两者CCD图像的方向是反的. 如果全是簿片CCD的图像, 不需要做updown操作, 旋转操作用要用turnnew, 合并用图象使用相应的cob50n

7.      合并文件, 把文件名列在文件1.1, 基准文件放在第1行。

 

cob50 1.1 t518o.fit

 

1:  p1731925T518o022.fit     0.0   0.0     0   0    16:47:14   1200  241.77

2:  03.fit                  98.2 -23.7    98 -24    19:37:33   1200  202.00

3:  04.fit                  89.4 -23.5    89 -23    20:02:24   1200  188.26

4:  p1731925T518o021.fit    -1.2  12.0    -1  12    16:23:56   1200  239.90

5:  p1731925T518o023.fit    24.4  -0.7    24  -1    17:09:49   1200  227.50

6:  p1731925T518o024.fit    47.0  -5.3    47  -5    17:32:33   1200  236.65

7:  p1731925T518o025.fit    54.0  -0.7    54  -1    17:54:59   1200  242.08

8:  p1731925T518o026.fit    72.3  -1.0    72  -1    18:17:25   1200  223.76

........................................ nstar:  112

............................ p1731925T518o022.fit  platen file

............................ 03.fit                scale:  1.04162073

............................ 04.fit                scale:  1.03492451

............................ p1731925T518o021.fit  scale:  0.99390763

............................ p1731925T518o023.fit  scale:  0.998327613

............................ p1731925T518o024.fit  scale:  0.998193979

............................ p1731925T518o025.fit  scale:  0.997423649

............................ p1731925T518o026.fit  scale:  0.996672928

 

如果发现相对于基准文件的位移太大, 最后栏天光值太大, 应重新选择图象后重做。如果位置定标不成功, 改用coord1对合并文件操作(对簿片合并文件)。


 

C.  pip2流程

 

pip2由fortran写成, 几乎全由系统调用语句组成, 十分明潦, 容易修改。当前PIP2版本的流程如下, 由22步组成, ( f1代表FITS图像文件名)。

 

1.    j_find f1                       12.   j_psf  f1   1

2.    j_phot f1                       13.   mv     f1.fitt   f1.fit

3.    j_auto f1                             j_star f1

4.    j_psf  f1  -1                   14.   mv     f1.als    f1.ap

5.    mv     f1.ap     f1.apt               j_substar  f1

      mv     f1.nei    f1.ap          15.   mv     f1.fit    f1.fitt

      j_star f1                             mv     f1.fits   f1.fit

6.    mv     f1.als    f1.ap          16.   j_psf  f1   

      j_substar  f1                   17.   mv     f1.fitt   f1.fit

7.    mv     f1.fit    f1.fitt              j_star f1

      mv     f1.fits   f1.fit         18.   mv     f1.als    f1.ap

8.    j_psf  f1   0                         j_substar  f1

9.    mv     f1.fitt   f1.fit         19.   mv     f1.fit    f1.fitt

j_star f1                             mv     f1.fits   f1.fit

10.    mv     f1.als    f1.ap          20.   j_psf  f1

       j_substar  f1                   21.   mv     f1.apt    f1.ap

11.    mv     f1.fit    f1.fitt              mv     f1.fitt   f1.fit

       mv     f1.fits   f1.fit         22.   j_star f1

 

D.  自动选取PSF星程序j_auto的详细说明:

概要: 由于CCD上的成像品质与位置变化有关(焦面中心到焦面边缘), 选出的PSF星应该均匀分布在整个区域. 所以划分成512*512小块, 单独求解. 在运算过程中, 均利用统计方法, 一步步筛选出好的样本。 若最后选出的PSF星数量不够, 则需放宽筛选条件重做. 最后, 集中每小块结果, 若超过40个, 则删除星等较暗的星。其具体流程如下:

1.  从合并图像的公共区域, 确定每一小块512*512象元区域PSF选出星的上限。K8 = 取整 [20e6/(列pixel*行pixel)];     K8一般取值为4~~5颗;

2.  选出星与其它星的 星间距的阀值暂取 >20象元;

3.  读入 *.ap文件上认为测得比较好的星, (不饱和, 孔径测光结果不奇特);

4.  去掉靠近总边框31象元以内的星;

5.  统计求出选出星的邻近天光的平均值和本块内最亮且不饱和星的星等值. 去掉小于1.2倍天光的星, 去掉暗于 最亮星等+3等 的暗星;

6.  利用 .ap文件中提供的孔径测光的信息, 每颗星有不同的一组测值, 去掉星系 类的星, 去掉反常测值的星

7.  去掉邻近星,如果做完此步, 所剩星数已经小于规定上限K8, 说明该星场为密集星场, 星间距取20象元太苛刻, 于是星间距缩小5象元后重做. 当星间距等于10象元,则不再迭代, 直接往下走。

8.  求出所剩星的seeing及平均seeing,若大于平均seeing的1.05倍, 删去, 怀疑为星系或双星若小于平均seeing的0.75倍, 删去, 怀疑为坏点或宇宙线;

9.  删除邻近有亮星的候选者,统计出一个平均天光;以选出星为中心, 在环形区域内, 15--70象元, 求出大于平均天光的点数;再统计出上述点数的平均值, 删去大于1.2倍平均值的星;

10. 分别以所选星为中心, 半径为横坐标, ADU值为纵坐标, 构造平面曲线, 形状为半支高斯曲线, 求出其翼上的起伏值, 具体做法: 在半径为星间距的范围内, 取出全部R(i),ADU(I), 以R大小排队, 截取R=FWHM到R=星间距 的一段数据. 累加 绝对值[(ADU(I)-ADU(I+1))/R(I)];

11. 统计上述所剩星的起伏平均值, 常数取1.2, 删去大于 平均值常数倍的星若所剩星大于K8, 重做第11步, 至多5次;

12. 若所剩星仍大于K8, 则常数减去0.05, 跳到第11步. 总可以使所剩星的数目小于等于K8;

13. 若选出的星还不到K8的一半, 则放宽一开始的 在.ap中选星条件. 跳到第3步重做, 仅仅迭代一次;

14. 把每小块选出的星合在一起考虑;

15. 删掉所剩星之间的星间距小于20象元的星;

16. 把所剩星按亮度排队, 若星数目大于40, 则适当删去尾巴上的暗星,PSF候选者 = M - (M-40)/2。

 

最后, 显示每小块的星数目和PSF候选星的值.

 

E.  pip2参数文件

pip2.par文件存放在一个固定的文件目录内, 其中参数均已选好(郑中原等人的工作), 适合我们的2048*2048像元的FITS图像. 若不满意, 可以把此文件拷到当前工作目录, 进行修改, pip2总是先在当前目录内查找此文件. 若不存在, 再去/vega2/qso5bin/ 目录内寻找。

pip2.par内容如下:

** if following data modified, left a mark as following

** Ex.      FITTINF RADIUS  =     3.00           /12   96,12,9 is 3.50

** allowed add comments here only, lines not limited

********************************************* daophot.opt

    READ NOISE (ADU; 1 frame) =     3.50           / 1

       GAIN (e-/ADU; 1 frame) =     3.30           / 2

   LOW GOOD DATUM (in sigmas) =     5.00           / 3

     HIGH GOOD DATUM (in ADU) = 28000.00           / 4

               FWHM OF OBJECT =     3.37           / 5

        THRESHOLD (in sigmas) =     3.50           / 6

      LS (LOW SHARPNESS CUTOFF) =    0.40           / 7

     HS (HIGH SHARPNESS CUTOFF) =    1.20           / 8

      LR (LOW ROUNDNESS CUTOFF) =   -1.15           / 9

     HR (HIGH ROUNDNESS CUTOFF) =    1.25           /10

                 WATCH PROGRESS =   -2.00           /11     -2.0

                 FITTING RADIUS =    3.00           /12

                     PSF RADIUS =     6.00           /13

                   VARIABLE PSF =     2.00           /14

     FRACTIONAL-PIXEL EXPANSION =     0.00           /15

             ANALYTIC MODEL PSF =     3.00           /16

      EXTRA PSF CLEANING PASSES =     3.00           /17

        USE SATURATED PSF STARS =     0.00           /18

           PERCENT ERROR (in %) =     0.75           /19

           PROFILE ERROR (in %) =     5.00           /20

********************************************* photo.opt

      A1  RADIUS OF APERTURE  1 =     3.00           / 1

      A2  RADIUS OF APERTURE  2 =     4.00           / 2

      A3  RADIUS OF APERTURE  3 =     5.00           / 3

      A4  RADIUS OF APERTURE  4 =     6.00           / 4

      A5  RADIUS OF APERTURE  5 =     7.00           / 5

      A6  RADIUS OF APERTURE  6 =     8.00           / 6

      A7  RADIUS OF APERTURE  7 =    10.00           / 7

      A8  RADIUS OF APERTURE  8 =    12.00           / 8

      A9  RADIUS OF APERTURE  9 =    14.00           / 9

      AA  RADIUS OF APERTURE 10 =    16.00           /10

      AB  RADIUS OF APERTURE 11 =    18.00           /11

      AC  RADIUS OF APERTURE 12 =    20.00           /12

      IS       INNER SKY RADIUS =    10.00           /13

      OS       OUTER SKY RADIUS =    20.00           /14

********************************************* allstar.opt

                 FITTING RADIUS =     3.00           / 1

         CE (CLIPPING EXPONENT) =     6.00           / 2

          REDETERMINE CENTROIDS =     1.00           / 3

            CR (CLIPPING RANGE) =     2.50           / 4

                 WATCH PROGRESS =    -2.00           / 5

             MAXIMUM GROUP SIZE =    60.00           / 6

           PERCENT ERROR (in %) =     0.75           / 7

           PROFILE ERROR (in %) =     5.00           / 8

          IS (INNER SKY RADIUS) =     3.00           / 9

          OS (OUTER SKY RADIUS) =     6.00           /10

********************************************* end

有二点说明:

1.  参数HIGH GOOD DATUM的取值,若是单幅图像, 就取pip2.par中的值, ADU=28000

若是合并图像, 取被处理图像FITS头上的NAXIS行上的列出值 与pip2.par文件中的值  的最大值。

2.  FWHM of OBJECT, 在pip2.par中失去意义, 程序自动从FITS头上读取, 根据seeing大小/1.7得到象元数。

 

F.  单个程序说明

j_find: 读出噪声与FITS文件上列出的合并图像数目有关, 决定选星多少选星区域和与FITS文件上列出的合并图像的公共区域有关, 靠近边缘5个象元以内的星不选。

j_phot: 考虑了HIGH GOOD DATUM和FWHM的自动选取问题。

j_psf:  程序运行时会对PSF候选者的品质打上记号, 差一点的打上?号, 认为有问题的打上*号。若遇到*号, 程序自动删除该PSF星候选者, 重做PSF轮廓。某些情况下, 例焦面不平, 并不希望删除*者, 那么在命令行上加上 ! 号。其它程序没有特别说明.

G. pip2

实际使用中提出, 由于1平方度的CCD焦面不可能一致, 分成独立的九块区域求解为好. 增加了pip21程序, 实质是对Pipeline II的流程作了调正。如果是蓝端颜色, CCD量子效率低, 拍摄不深, 星少, 仍用pip2处理。对2048*2048 pixels的图, 分成9块来做DAOPHOT,

每相邻两块重迭200象元                               1  2  3

经测试, 选psf星 取一阶为好                           4  5  6

每小块星等校正如下:                                   7  8  9

 

以第5块为基准, 先分别校正第2,4,6,8小块,然后, 四个角上的第1,3,7,9块, 用5及相邻两块来校正,最后, 形成总的一个文件。由于, 选PSF星的区域变小, 自动选星程序有一个新的版本, j_auto9初始参数: 星等范围4个星等,  星间距15 pixels如选不到25颗星, 那么逐步放宽选星条件, 星等从4-->5, pixel 15-->10如选到的星数目多于30, 那么取亮的星作为PSF星。 新增的程序名为: pip21,将调用新程序: j_1to9, j_auto9,  j_9to1。

PIPELINE III

BATC的Pipeline III是PipelineI和PipelineII的延续。它是在以前数据处理多个步骤的整合和发展。用PipelineIII,我们可以从一个天区的各个滤光片的常规深曝光图像和测光夜短曝光图像得到得到可供发表和研究人员直接使用的包含多个颜色经过流量定标后的星表。

运行PipelineIII所需要的输入数据是合并后的各个颜色的同一天区的FITS文件,以及 测光夜数据。PipelineIII最终输出的结果是一个在1平方度内, 多个颜色的, 经过Oke&Gunn流量测光标准星定标的, 光谱能量分布(SED)星表, 星表中包含用USNOSA2.0星表做过位置定标的赤道坐标以及各个颜色的星等。这也就是所谓BATC星表。

PipelineIII的运做过程用到了PipelineII的一些步骤,但并非直接利用Pipeline II的结果。PipelineIII主要是考虑多个颜色对识别天体能力的优势和流量定标,统计分析等方面的问题。

我们将各种数据文件和处理结果分别放在以下在4个计算机磁盘目录内:  deep,con,no,mag3。这也是从图象得到最后星表的四个步骤:

1.  deep输入合并文件, 输出亮星仪器星等, 全部仪器星等。

2.  con  输入该天区测光夜浅曝光图像, 同一天测光标准星定标的数据(见标准星测光理),输入deep的亮星仪器星等,输出深曝光的各个颜色的合并图像的星等修正值av.dat得到各颜色的全部测光星等。

3. no   用孔径测光补上 未能用PSF星求得的星等。

4.  mag3星表加上孔径测光值, USNOSA2.0星表位置证认。

具体做法:

1.  对各颜色合并后图象用j_find找到图象里流量大于某个阈值和形态正常的天体位置,然后用j_phot得到这些天体(待求星)各颜色的仪器星等。 将待求星在图象上的位置x,y转换成赤经(R.A.)和赤纬(Dec.);

2. 比较各颜色合并图象上的待求星, 某颗星如果出现3次, 即被选中,作为一个真实存在的天体。 这些天体构成一个统一的待求星表;

3.  将待求星表中的坐标转成各颜色合并图象上的XY坐标。对于靠近边缘(<20pixels)将同时生成对应的边缘星编号

4.  用所有颜色合并图象上的边缘星生成统一的边缘星编号, 待后面总星表形成后, 在总星表上对应星位置注上e

5.  用pip21_8处理各颜色图象, 免去j_find步骤, 直接从j_phot开始做;对于绝大部分合并图像,我们将图象分成3*3分区,然后分别求PSF星;如果图象上可用星数太少,有可能得不到解。对于该图象,我们用pip21_8_1对整幅图求PSF星;

6.  从每幅的测光后,我们都可得到一个由点扩散函数拟合测光星表(*.als)。根据各颜色的结果星表中的赤经赤纬, 合并成仪器星等的总星表。在2角秒内找到对应的星, 被认为是同一天体。原则也是要求在所有颜色上出现3次;

7.  将仪器星等根据颜色转换成定标后BATC星等(AB系统星等), 如果是边缘星,贴上e

8.  对于星表上每个天体, 用mo4目视检查其在所有颜色图象上的星象。如果是特殊天体或者可能存在处理上的问题。我们将分别以各种字母(bdgmnst),予以标记;

9.  用不做标记的正常星, 对各颜色图象分别用(j_phot)做一次孔径测光, 求得5象元的孔径测光仪器星等及误差。然后和已知的总星表上的对应BATC星等做较差统计, 得到中值, 用于将孔径测光仪器星等,转换成BATC星等。如果总星表上,由于星太暗或形态等其他原因没有得到PS拟合星等,为了星表的完备性,我们用孔径测光的星等补缺。对于用孔径测光得到的星等,我们在其测光误差前冠以X, 以此区分所使用的不同测光方法。虽然补充了不少数据, 但仍有空缺, 原因是孔径测光也测不到结果。

 

不同字母标记的测光状态如下:

b  亮星(饱和), 坐标不准

d  受污染(鬼像,CCD缺陷等)

e  靠边, 星像出框架

f  星太暗, 但可见

g  星系

m  混淆 (邻近星的亮度差不多)

n  星看不见

s  受亮星污染(在晕中,或spark)

t  受星系污染

x  错误的星像, (亮星系引起)

X  在PIP2中,在本颜色上没找到此星, 利用已知赤经赤纬, 反推出X,Y座标,人为生成一个*.coo文件, 用j_phot孔径测光, 注意, 有的星误差很大。在星表上, 仍有一部分星没有星等, (j_phot测不出来), 属于两种情况,A. 太暗;  B. 出框架, (合并图像的框架<2048)。

 

深浅曝光图像之间的星等转换常数的确定:

最后流量定标得到的BATC星等与仪器星等的差是一个修正常数Const:

BATC星等(i)= 仪器星等(i) + Const

最后得到的BATC星等的误差来自两部分。一是从图像上进行仪器星等测量时引进的统计误差;另一个是流量定标过程中引进的系统误差

星等误差(i)= F ( 仪器星等误差(i) , CONST误差)

 

下面叙述如何得到定标值CONST及CONST误差。星等定标值及其误差包括两个不同的部分。一个是在测光夜,用标准星确定地球大气消光系数和仪器星等零点时的拟合误差。它反映了测光夜天气的稳定程度。另一个是将测光夜短曝光该天区图像上得到的定标后星等与合并图像的仪器星等差。

CONST = CONST1 + CONST2

CONST1是用测光夜的测光标准星 定出当天浅曝光_BATC天区的仪器星等与BATC星等的差值(见测光夜数据处理部分)。

CONST2是深浅曝光的仪器星等差值。它用以下几个步骤得到:

1.  用j_find, j_phot处理浅曝光_BATC天区图像, 得到孔径测光仪器星等*.ap

2.  用pip6处理*.ap, 完成其他步骤:

A.  类似j_auto自动找PSF星的方法, 找到一批孤立星, 星等范围5个星等。按照cob50的做法将这些星合并起来. 生成一个点源的图像。图象上中央星的信噪比极高, 背景极平。按DAOPHOT的做法, 对该星做不同半径的孔径测光(3--20 PIXEL),求出5pixel与15pixel的流量比。取这批孤立星 5pixel的星等值, 根据流量比, 归算到15pixel的星等。

B.  深曝光的PSF星的星等, 可以在*.lst中找到。 (*.als ?????????????????)

C.  取两个框架上坐标对应的30颗亮星, 去掉星等差与平均星等差差值太大的星 (3sigma), 求出平均差值Const2及误差。

 

(注: 在/base/photo的星表中列出的星等误差, 仅为pip2给出的误差在已发表的文章中, 有叙述, 此误差为主要误差, 其它误差可忽略。定标误差在文件av.dat中。)

观测数据处理后星表结构供使用者进一步研究的星表有两种。一个是纯PSF拟合星等星表,另一个是有孔径测光星等的星表。 以T517天区为例:

T517i_15.mag2纯PSF星表: 星等精确到百分之一星等, 有USNOSA20对应星序号 (坐标证认范围2角秒)

T517i_15.mag3 PSF+孔径测光星表, 同于*.mag2, 增加了孔径测光值,星表名上字母I表示,该星表以i颜色框架坐标为基准, (首选合并后图像质优星多者, 有时挑j颜色 )。15表示该星表中共包括15个颜色。

以下是星表中的示例:

center 03:54:16.88 00:19:08.1 2K  a     b     c     d     e     f     g  ...

 ...

253 03:56:03.76 -0:05:33.1  21.29 21.10 21.68 19.86 19.50 19.15 18.36 ...

zone0825.00887544 19.7B 18.0R  X1.49  0.37 X1.66  0.14  0.05  0.04  0.03 ...

3       23.06 21.58 28.09 20.25 19.57 19.13 18.47 ...

4.49  0.66  9.99  0.17  0.05  0.06  0.03 ...

4       24.39 20.85 21.67 20.09 19.50 19.00 18.38 ...

9.99  0.46  1.33  0.19  0.06  0.07  0.04 ...

    5   21.28 20.58 21.65 20.14 19.47 18.92 18.35 ...

         1.49  0.45  1.66  0.25  0.08  0.08  0.05 ...

6       21.33 20.26 22.19 20.30 19.49 18.84 18.32 ...

1.89  0.41  3.34  0.36  0.09  0.09  0.05 ...

7       21.49 19.92 21.65 20.21 19.50 18.74 18.28 ...

2.59  0.35  2.42  0.39  0.11  0.09  0.06 ...

8       21.96 20.05 20.94 20.36 19.44 18.67 18.27 ...

4.67  0.46  1.46  0.53  0.13  0.10  0.07 ...

10     95.00 20.27 20.57 20.64 19.33 18.59 18.24 ...

9.99  0.74  1.36  0.89  0.15  0.12  0.09 ...

12     95.00 20.03 21.34 21.21 19.38 18.50 18.28 ...

9.99  0.76  3.50  1.90  0.19  0.14  0.12 ...

14     95.00 20.12 21.54 21.50 19.31 18.42 18.19 ...

9.99  1.01  5.20  3.06  0.23  0.17  0.14 ...

16     95.00 19.95 21.17 20.75 18.80 18.24 17.86 ...

9.99  1.05  4.46  1.85  0.17  0.17  0.12 ...

e  254 03:52:26.79 -0:06:46.2  19.61 18.53  0.00 17.52  0.00 17.12 16.84 ...

zone0825.00874730 17.1B 16.5R   0.18  0.05  0.00  0.02  0.00  0.02  0.02 ...

 ...

 

说明: 如果星等mag=99.00,表示该星出了图象框架. 星等值mag=95.00表示该星无论PSF和孔径测光两种方法均未测出其星等.

 

这里,我们给出星表读出的一个FORTRAN程序例子:

character*126 d0,d1,d2

real mag(16),err(16)

character*1 mark(16)

open(1,file=/base/photo/T517/T517i_15.mag2,status=old)

read(1,(a))d0

nc=

10 read(1,(a),end=19)d1

read(1,(a))d2

do i=1,nc

read(d1(i*6+26:),(f5.2))mag(i)

read(d2(i*6+26:),(a1,f4.2)),mark(i),err(i)

enddo

goto 10

 19 close(1)

end

 

PipelinIII计算机程序实际操作步骤:

A.  in deep

ls *.fit >file

put mother filter 1st

pip31

B.  in con

grep Ta01 imag2cali_2002.dat >con1

ab >1.1

source 1.1

ls T*>1.1

av 1.1 >av.dat

C.  eye check, -->*.mag1

limerr *.mag1

D.  in no

pip33 Ta01j_14

E.  in mag3

pip34 Ta01j_14

每步骤操作细节:

1.    ----- find all star in each filter, if finded on 3 frames, choose it

make a list, get T*.coo, (in deep directory)

j_find t*.fit

j_phot t*.fit

        j_xyapad t*.ap              change .ap-->.cat

                                    if find >=3 color, pick it

ls t*.cat >1.1

        getapcat 1.1               -->getapcat.cat

                                   at edge 20 pixel not do all_star

        j_ad8xy *.fit              (produce:  T359a.coo T359a.eds)

ls T*.eds >1.1

geteds 1.1                 (T*.eds -->eds.dat) 1237/7040

ln -s t*.fit T*.fit

2.    ----- start at j_phot, do pip21

in deep directory  (or pip21_8_1 for less ADU image )

pip21_8 T*.fit

3.    ----- get all_star catalog

in deep directory

mv *.cat6 ../con

        ls T*.cat >1.1                ( put mother color frame 1st)

        getcat 1.1                    ! rm ?.cat first, produce order.dat

        rm T517?.cati*                ! do all, use del3; -->getcat.cat

 

以上是pip31批处理内容

** will use eds.dat & av.dat

        putedsav getcat.cat T517i_15.mag1   !  put eds_mark & av.dat

                     or  T517i_15.mag0   !  for zmo4 to put marker

4.    ----- eye check frames

in deep directory

       ;ls t*.fit >1.1                 ! put mother_color frame 1st

                                       ! or putmark T517i_15 > T517i_15.mag1

        mo4 file T*i_15.mag1 1         ! or zmo4 file T517i_15.mag1 1

limerr T*i_15.mag1

5.    ----- append j_phot results to cataloge

in no directory, run pip33 T*

mv t*.fit ../no

cp T*i_15.mag1 ../no

takead T*i_15.mag1 >t517.coo

j_ad2xy t*?.fit >t*?.coo

j_phot *.fit

readno T517i_15.mag1 t517? >no.?

ls no.?>1.1

readput T517i_15.mag1 1.1 T517i_15.mag        (last results)

chformat T517i_15.mag T517i_mag2

use tv_coord1 gscno2 to check usnosa2_star.

cp T517i_15.mag /base/photo/T517     保存结果

cp T517i_15.mag2 /base/photo/T517

cp con/con1 T*_con.? av.dat

cp cob/readme.? batc.tmp

cp cob_fit/t517?.fit

 

以上是pip33批处理内容

以下是得到av.dat步骤:

in con:             ! put con1 (from zhouxu)

in con/color:

! need deep.cat6 , *.fit (low exp.)

j_find *.fit

j_phot *.fit

pip6 deep * 5             ! j_gc2 * 5; j_xy6ad *; all7 deep *

tocon >../T517_con.color

in con:

        edit t*_con.?             ! put  X mark

        av batch                  ! get av.dat

 

以上是pip32批处理内容

in mag3,  run pip34 T*

mv ../no/*.fit .

cp ../no/*.mag .

cp ../no/*.mag2 .

cp ../con/av.dat .

takead1 T*_15.mag >t*.coo

j_ad2xy t*?.fit >t*?.coo

j_phot *.fit

2.                   putap T*_15.mag2 T*_15.mag3

cp .mag3 /base/photo/T

以上是pip34批处理内容